오픈AI, 텍스트 워터마크 textGrain 공개: EU 규제 대응

ChatGPT가 써준 글을 복사해 붙여넣으면 겉보기엔 평범한 문장이지만, 그 뒤에는 육안으로 볼 수 없는 통계적 흔적이 새겨지기 시작했습니다.

OpenAI는 10월 5일, 인공지능이 생성한 텍스트에 적용하는 비가시적 통계 워터마크 기술 'textGrain'을 발표했습니다. 지난 8월 2일 발효된 EU 인공지능 법(EU AI Act)의 규정, 즉 생성형 AI 텍스트를 기계가 읽을 수 있는 방식으로 식별 가능하게 만들어야 한다는 요건을 맞추기 위한 조치입니다.

하지만 전 세계 사용자를 대상으로 일괄 적용하지는 않았습니다. 앞으로 수주에 걸쳐 워터마크가 기본 활성화되는 대상은 유럽연합(EU) 지역 내 모든 유무료 플랜의 ChatGPT 및 Codex 사용자뿐입니다. 전 세계 API 고객에게도 지원을 시작했으나 기본값은 꺼짐(Off) 상태이며, 원하는 고객만 선택해 켤 수 있습니다.

단어 선택에 숨겨둔 미세한 암호

텍스트 워터마크는 문장 끝에 표시를 남기는 방식이 아닙니다. 모델이 다음 단어를 예측해 문장을 완성할 때, 비밀 키를 활용해 단어 선택 확률을 아주 미세하게 조정하는 원리입니다.

예일대와 펜실베이니아대 연구진이 함께 작성한 기술 보고서에 따르면, 이러한 미세한 조정이 수백 단어 이상 누적되면 사람은 눈치채지 못하지만 탐지기는 통계적 패턴을 정확히 집어낼 수 있습니다. 최신 프론티어 모델인 Astra 기반 벤치마크에서도 워터마크 적용 유무에 따른 성능 저하는 거의 없었으며, 딥마인드의 SynthID와 동등하거나 그 이상의 성능을 보였다고 밝혔습니다. 향후 이 기술은 오픈소스로 공개할 예정입니다.

문제는 유지력입니다. 400토큰 분량의 글에서 단어의 10%를 유의어로 바꾸면 탐지율이 92%에서 66%로 떨어졌고, 25%를 바꾸면 17%까지 곤두박질쳤습니다. 짧은 글이나 표현 선택지가 좁은 수학 풀이 등에서도 탐지율이 크게 낮아집니다. 이처럼 오탐과 미탐 위험이 커 탐지기는 일반에 공개되지 않고 승인받은 연구 기관에만 제한적으로 제공됩니다.

왜 중요한가

OpenAI의 이번 행보는 규제 준수와 고객 이탈 방지 사이에서 계산기를 정교하게 두드린 결과로 보입니다. 월스트리트저널 보도에 따르면 OpenAI는 이미 2024년에 워터마크 기술을 완성하고도 사용자가 경쟁사로 넘어갈까 봐 출시를 미뤄왔습니다. 두 달 전 앤트로픽(Anthropic)이 클로드에 전 세계 기본 워터마크를 도입했다가 "지시는 사람이 내렸는데 왜 낙인을 찍느냐"는 반발을 샀던 점도 의식했을 것입니다.

따라서 규제가 직접 닥친 EU에만 기본 적용하고, 글로벌 API는 선택권으로 남겨둔 것은 영리한 타협안으로 보입니다.

일반 창작자나 사용자 입장에서 당장 큰 위협은 아닙니다. 단어를 조금 다듬거나 재작성하는 것만으로도 워터마크 신호가 크게 흐려지며, 워터마크가 사용자 계정이나 대화 내용을 추적하지도 않기 때문입니다. 다만 업계 차원에서는 워터마크를 지우려는 패러프레이징 도구와의 숨바꼭질이 본격화될 수밖에 없습니다. 워터마크가 감지되지 않았다고 해서 사람이 썼다는 증거가 될 수 없다는 점을 OpenAI 스스로도 인정한 만큼, 실효성 있는 텍스트 식별 체계로 안착하기까지는 상당한 진통이 따를 것으로 보입니다.