정확도 26% 그친 OpenAI, AI 텍스트 감지 도구 조용히 폐쇄

지난 1월, 학생들이 ChatGPT로 에세이를 대필하는 문제로 교육 현장이 발칵 뒤집히자 OpenAI는 구원투수를 자처하며 AI 텍스트 탐지 도구인 AI Classifier를 내놓았습니다.

하지만 반년 만에 이 도구는 조용히 역사 속으로 사라졌습니다. OpenAI는 별도의 공식 발표 대신 기존 블로그 게시물에 짧은 안내문을 덧붙이며, 낮은 정확도를 이유로 지난 7월 20일 해당 도구의 지원을 공식 종료했다고 밝혔습니다. 현재 접속 링크는 닫힌 상태입니다.

처음부터 예견된 낮은 정확도

사실 AI Classifier는 출시 첫날부터 성능 한계가 뚜렷했던 도구였습니다.

OpenAI가 공개했던 자체 평가 자료에 따르면, 영어 텍스트 테스트 세트에서 AI가 작성한 글을 정확히 가려낸 비율은 겨우 26%에 불과했습니다. AI가 쓴 글의 70% 이상을 그냥 통과시킨 셈입니다.

더 치명적인 문제는 오탐률이었습니다. 사람이 직접 쓴 원문을 AI가 작성한 것으로 잘못 판정한 비율이 9%에 달했습니다.

사용 조건도 까다로웠습니다. 최소 1,000자 이상의 텍스트를 직접 입력해야 분석이 가능했고, 분량이 짧거나 영어가 아닌 언어, 혹은 모델의 학습 데이터 범위를 벗어난 글에서는 신경망 분류기의 성능이 곤두박질쳤습니다. OpenAI 역시 이를 단독 의사결정 수단으로 쓰지 말라고 경고했지만, 마땅한 대안이 없던 학교 현장에서는 혼란이 이어졌습니다.

사후 탐지에서 출처 추적 기술로 선회

출시 당시 OpenAI는 스탠퍼드대 및 조지타운대 연구진과 공동 논문을 발표하며 생성 AI를 악용한 정보 왜곡과 부정행위 위험을 경고한 바 있습니다. 하지만 기술적 해결책으로 내놓은 탐지기는 쏟아지는 수요를 감당하기에 역부족이었습니다.

현재 OpenAI는 이번 실패를 계기로 사용자 피드백을 반영해 텍스트의 출처를 더 효과적으로 증명할 수 있는 프로비넌스(Provenance) 기술을 연구 중이라고 밝혔습니다. 아울러 DALL-E 같은 이미지나 오디오 콘텐츠에 대해서도 AI 생성 여부를 판별할 수 있는 장치를 개발하겠다고 약속했으나, 개선된 텍스트 도구의 공개 일정은 따로 밝히지 않았습니다.

왜 중요한가

ChatGPT를 직접 만든 장본인조차 자사 모델이 쓴 글을 구분하지 못해 백기를 들었다는 점은 시사하는 바가 큽니다.

교육자와 채용 담당자, 콘텐츠 관리자라면 시중에 나와 있는 수많은 사설 AI 감별기를 맹신하는 일을 당장 멈춰야 합니다. 원천 기술을 쥔 OpenAI의 정답률이 26%에 그치고 무고한 사람의 글을 AI 글로 오판할 확률이 10%에 육박하는 마당에, 외부 서드파티 툴의 판독 결과를 근거로 학생이나 지원자에게 불이익을 주는 것은 매우 위험합니다.

오탐으로 인한 억울한 피해자를 양산하기 전에 도구를 과감히 내린 결정 자체는 영리했다고 봅니다. 다만 별도 공지 없이 블로그 수정으로 조용히 서비스를 접은 모습은, 텍스트 생성 기술의 폭주에 비해 통제 기술이 얼마나 뒤처져 있는지를 단적으로 보여줍니다.

앞으로 텍스트의 문맥이나 통계적 패턴만 보고 사후에 AI 작성 여부를 가려내는 방식은 기술적 한계에 부딪힐 것으로 보입니다. 생성 단계에서 암호학적 워터마크를 심거나 데이터 출처를 추적하는 사전 방어 체계로의 패러다임 전환이 불가피해 보입니다.