오픈AI, 챗GPT 텍스트용 '보이지 않는 워터마크' 프로토타입 개발

학생들이 과제 제출에 챗봇을 활용하기 시작하고, 온라인에는 AI가 작성한 여론 조작성 댓글이 넘쳐날 조짐을 보이고 있습니다. 화면에 적힌 글만 보고 기계가 썼는지 사람이 썼는지 가려내기는 불가능에 가깝습니다. 이에 대해 OpenAI는 텍스트 내부에 수학적인 암호 흔적을 숨겨두는 해결책을 꺼내 들었습니다.

텍사스 대학교 강연에서 OpenAI의 연구원 Scott Aaronson은 ChatGPT와 같은 모델이 생성한 텍스트를 식별할 수 있는 통계적 워터마크 기술의 프로토타입을 개발해 테스트 중이라고 밝혔습니다.

단어 확률 사이에 암호화 키를 숨기는 방식

GPT 모델은 약 10만 개의 토큰 후보 중에서 확률 분포를 계산해 다음 단어를 선택하는 방식으로 문장을 만듭니다. 여기에 일정한 무작위성이 더해지기 때문에 매번 다른 문장이 출력됩니다.

OpenAI 엔지니어 Hendrik Kirchner가 구현한 프로토타입은 이 무작위성을 암호학적 의사 난수 함수로 대체했습니다. OpenAI만 알고 있는 비밀 키를 바탕으로 토큰 선택 패턴에 미세한 수학적 규칙을 부여하는 방식입니다.

사람이 읽을 때는 문장이 너무나 자연스러워 아무런 차이를 느끼지 못합니다. 하지만 전용 판별 도구를 통과시키면 한 문단 정도 분량인 수백 개 토큰만 있어도 해당 글이 GPT의 산물인지 곧바로 식별해 냅니다.

문장의 순서를 바꾸거나 단어 몇 개를 지우더라도 전체 토큰의 통계적 점수는 유지되므로 조작을 피해 가기 어렵습니다. 이론적으로는 긴 글 속에서 어느 문단이 AI 작성본이고 어느 문단이 사람이 쓴 것인지 구분해 내는 것도 가능합니다.

생성된 모든 텍스트를 거대한 데이터베이스에 저장해 대조하는 방식도 거론되었으나, 이는 심각한 개인정보 침해 문제를 일으킬 수 있어 배제되었습니다.

과제 대필부터 댓글 부대까지 겨냥한 워터마크

OpenAI가 워터마크 도입을 서두르는 이유는 명확합니다. 이미 학계에서는 AI를 활용한 표절을 뜻하는 신조어까지 등장했습니다. Aaronson은 현재 모델 수준으로도 대학 대부분의 과목에서 B학점 정도는 무난히 받을 수 있다며, 학생들의 유혹을 통제하기 어렵다고 인정했습니다.

더 위험한 영역은 여론 조작과 가짜 뉴스입니다. 모스크바의 댓글 공장에 상주 인력을 가득 채우지 않더라도, 모델 하나만 돌리면 전쟁 지지 댓글로 전 세계 블로그를 도배할 수 있습니다. 특정인의 문체를 모방해 누명을 씌우는 악용도 가능합니다. Aaronson은 AI를 악용하는 거의 모든 행위가 AI의 개입을 숨기는 데 기반을 두고 있기 때문에, 워터마크야말로 가장 강력한 방어선이 될 수 있다고 설명했습니다.

왜 중요한가

우리는 OpenAI가 모든 생성 기록을 서버에 남기지 않고 토큰 생성 확률 자체에 워터마크를 심은 결정을 매우 영리한 접근으로 평가합니다. 프롬프트 저장 방식은 사생활 침해 논란을 피할 수 없고, 기존의 서드파티 AI 감지기들은 오탐률이 높아 신뢰를 얻지 못했기 때문입니다.

교사와 플랫폼 운영자 입장에서는 AI 대필을 적발하는 실질적인 기준이 생기며, 반대로 억울하게 AI 표절 의심을 받는 작성자가 결백을 증명할 수 있는 안전장치로도 기능할 수 있습니다.

하지만 명백한 한계도 존재합니다. 이 워터마크는 OpenAI가 보유한 폐쇄형 모델에서만 작동합니다. 오픈소스 모델을 내려받아 자체 서버에서 구동하거나 워터마크가 없는 타사 모델을 사용하는 악의적 사용자에게는 아무런 효력이 없습니다.

일반 사용자의 과제 대필을 막는 효과는 거둘 수 있겠지만, 조직적인 가짜 뉴스 유포 세력은 워터마크를 우회할 수 있는 대안 모델로 즉시 옮겨갈 가능성이 높습니다. 결국 한 기업의 워터마크만으로는 생성형 AI가 가져올 신뢰의 위기를 완전히 막아내기 어렵습니다.