OpenAI, ChatGPT 탐지 도구 출시 보류…우회 취약점과 비영어권 낙인 우려

학생들이 ChatGPT로 과제를 대신 작성하는 것을 잡아낼 수 있는 도구를 OpenAI가 이미 완성해 두고도 공개 여부를 망설이고 있습니다.

월스트리트저널에 따르면 OpenAI는 ChatGPT가 작성한 글을 가려내는 텍스트 워터마크 기술을 개발했으나, 이를 외부에 배포할지를 두고 내부 논쟁을 벌이고 있습니다.

OpenAI 대변인은 해당 기술 연구를 진행 중인 것이 사실이라며, 시스템 복잡성과 외부 생태계에 미칠 영향을 고려해 신중한 접근 방식을 취하고 있다고 밝혔습니다.

단어 선택에 심어두는 보이지 않는 서명

OpenAI는 지난해 자체 AI 텍스트 탐지기를 출시했다가 정확도가 너무 떨어진다는 이유로 서비스를 중단한 바 있습니다.

이번 워터마크 방식은 이전 시도와 완전히 다릅니다. 다른 회사의 모델은 건드리지 않고 오직 ChatGPT가 생성한 텍스트만을 추적합니다.

원리는 모델이 단어를 고르는 과정에 미세한 수학적 패턴을 심는 것입니다. 사람이 읽을 때는 일반 문장과 다를 바 없지만, 전용 검증 도구에 넣으면 즉시 워터마크가 드러납니다.

OpenAI는 이 기술이 매우 높은 정확도를 자랑하며 문장 일부를 패러프레이징하는 수준의 변형도 거뜬히 잡아낸다고 설명했습니다.

작정하면 뚫리고, 비원어민만 피해

문제는 진짜 부정행위를 저지르는 사람들을 막기 어렵다는 점입니다.

OpenAI에 따르면 이 워터마크는 텍스트를 번역기에 돌리거나 다른 생성형 AI로 다시 쓰게 만들면 쉽게 지워집니다. 단어 사이에 특수문자를 넣었다가 지우는 꼼수만으로도 무력화됩니다.

부작용도 큽니다. 영어가 모국어가 아닌 사용자들이 작문 교정 도구로 ChatGPT를 활용하는 경우가 많은데, 워터마크가 감지되면 부정행위자로 낙인찍힐 위험이 큽니다.

왜 중요한가

이번 고민은 OpenAI의 사업적 이해관계와 사회적 책임이 정면으로 충돌하는 지점을 보여줍니다.

OpenAI가 이 도구를 내놓는 순간, 과제를 베끼려는 사용자들은 워터마크가 없는 다른 경쟁 AI로 대거 이탈할 가능성이 높습니다. 자사 서비스의 이용률만 깎아먹고 문제 자체는 해결하지 못하는 셈입니다.

교육 현장과 일반 사용자에게도 시사하는 바가 큽니다. 기술 하나로 AI 작성 여부를 완벽히 가려낼 수 있다는 기대는 환상에 가깝다고 봅니다.

악의적인 사용자는 손쉽게 우회하는 반면 순수하게 언어 보조 도구로 쓰는 사람들만 억울한 의심을 받기 십상입니다. 소프트웨어 탐지에만 의존하는 평가 방식은 이제 재검토가 필요해 보입니다.