OpenAI, AI 텍스트 판별기 공개… 정확도는 26%에 불과

ChatGPT 열풍 이후 교육자와 콘텐츠 검토자가 마주한 가장 큰 고민은 눈앞의 글을 AI가 썼는지 여부를 가려내는 일이었습니다. 이에 대응해 OpenAI는 AI 작성 텍스트를 판별하는 자체 분류기를 선보이며 해결사를 자처했습니다.

하지만 받아 든 성적표는 처참했습니다. OpenAI의 자체 영어 테스트에서 이 분류기가 AI 작성 텍스트를 정확히 잡아낸 비율은 26퍼센트에 불과했고, 사람이 쓴 글을 AI 글로 오판한 비율도 9퍼센트에 달했습니다. 결국 성능 한계를 극복하지 못하고 2023년 7월 20일부로 서비스가 공식 종료되었습니다.

1000자 미만은 무력화되는 판별 도구

이 분류기는 동일한 주제에 대해 사람이 작성한 글과 여러 AI 모델이 생성한 텍스트 쌍을 수집해 언어 모델을 미세 조정한 방식으로 만들어졌습니다. 억울한 오탐을 줄이기 위해 판별 임계값을 높여 모델이 확신할 때만 AI 작성 가능성이 높다고 표시하도록 설계되었습니다.

그러나 실제 사용 환경에서의 한계는 명확했습니다. 1000자 미만의 짧은 글에서는 판별이 거의 불가능했고, 영어가 아닌 언어나 프로그래밍 코드에서는 정확도가 크게 떨어졌습니다. 1000개의 소수 목록처럼 정답이 고정되어 예측 가능한 텍스트 역시 판별할 수 없었습니다.

더 큰 문제는 신경망 특유의 교정 오류였습니다. 학습 데이터 범위를 벗어난 글을 만나면 터무니없는 오판을 내리면서도 높은 확신도를 보였습니다. 사람이 몇몇 단어를 바꾸는 약간의 수정만 거쳐도 탐지를 손쉽게 우회할 수 있었습니다.

왜 중요한가

OpenAI의 이번 시도와 빠른 철수는 사후 텍스트 검출 도구의 환상을 깨뜨렸다는 점에서 의미가 큽니다. 오탐률이 9퍼센트에 달하는 도구를 교실이나 과제 평가에 주된 근거로 도입했다가는 무고한 학생에게 부정행위 낙인을 찍는 사고로 이어질 수밖에 없습니다.

통계적 패턴 매칭을 통해 AI 글을 역추적하는 방식은 근본적인 한계에 부딪혔습니다. 프롬프트 변형이나 사람의 가벼운 윤문만으로도 탐지망이 쉽게 무너지기 때문에, 방어자가 장기적인 우위를 점하기 어려운 구조입니다.

우리는 OpenAI가 낮은 성능을 인정하고 서비스를 조기에 정리한 것이 무책임한 방치보다 훨씬 현명한 선택이었다고 봅니다. 이제 텍스트 검출 기술의 무게중심은 단순 분류기를 넘어 보다 정교한 텍스트 출처 추적과 워터마킹, 그리고 오디오와 시각 콘텐츠 대상의 생성 메커니즘으로 옮겨가고 있습니다.