OpenAI, 챗GPT 텍스트에 '워터마크' 심는다…과제 표절 방지 목적

수업에 한 번도 들어오지 않은 학부생이 시험 답안지에 그럴듯한 헛소리를 아주 자신만만하게 써 내려가는 모습. 기술 분석가 베네딕트 에반스는 ChatGPT의 글쓰기 방식을 이렇게 꼬집었습니다.

틀린 사실을 천연덕스럽게 꾸며내는 성향이 있지만, 문맥 자체는 너무나 자연스럽습니다. 게다가 기존 표절 검사기로는 걸러지지 않다 보니, 과제 제출용으로 악용하는 사례가 늘면서 교육계는 패닉에 빠졌습니다.

상황이 심각해지자 개발사인 OpenAI가 직접 텍스트에 워터마크를 심어 생성 여부를 가려내는 기술 개발에 나섰습니다.

단어 선택의 확률을 조작하는 투명 워터마크

텍사스 대학교 강연에서 OpenAI의 객원 연구원 스콧 애런슨은 텍스트 출력물에 통계적 워터마크를 새기는 시스템을 개발 중이며, 이미 작동하는 프로토타입을 확보했다고 밝혔습니다.

원리는 사람이 읽었을 때는 전혀 어색함을 느끼지 못할 정도로 모델의 단어 선택을 미세하게 조정하는 방식입니다. 일반 독자의 눈에는 평범한 글처럼 보이지만, 검증 알고리즘을 돌리면 기계가 생성했다는 통계적 신호가 드러납니다.

애런슨의 설명에 따르면 대략 수백 단어 분량만 확보되면 이 글이 GPT에서 나왔다는 신호를 합리적으로 감지할 수 있습니다.

이 기술은 단순한 과제 대필 방지를 넘어섭니다. 댓글 부대를 대규모로 동원하지 않고도 온라인 여론 조작 글을 대량 유포하거나, 특정 인물의 필적을 모방해 누명을 씌우는 행위를 막는 데도 쓰일 수 있습니다.

개발자 커뮤니티가 먼저 빗장을 건 이유

AI를 이용해 남의 지적 결과물처럼 속여 제출하는 행위에는 이미 AIgiarism이라는 이름이 붙었습니다. 실리콘밸리 유명 투자자 폴 그레이엄은 남의 성과를 가로채는 표절과 마찬가지로 이 역시 엄격하게 다뤄야 한다고 지적했습니다.

실제로 피해는 교육계보다 개발자 플랫폼에서 먼저 터졌습니다. 프로그래밍 질의응답 사이트 스택 오버플로는 ChatGPT가 생성한 답변 등록을 전면 금지했습니다.

스택 오버플로 운영진은 ChatGPT 답변이 틀릴 확률이 매우 높은데도 겉보기에는 그럴듯해 보이고, 만드는 비용마저 너무 저렴해 사이트 생태계를 심각하게 해치고 있다고 설명했습니다.

왜 중요한가

OpenAI가 워터마크 도입을 서두르는 것은 규제 당국과 교육 현장의 반발로 서비스 자체가 차단당하는 최악의 시나리오를 막기 위한 조치로 보입니다.

과제나 업무 문서를 AI로 통째로 대체하려던 사용자라면 이제 주의가 필요합니다. 당장은 검사를 피할 수 있을지 몰라도, 검증 도구가 본격적으로 배포되면 사후 적발될 가능성을 배제하기 어렵습니다. 지금 단계에서는 어디까지나 초안 작성이나 아이디어 구상을 돕는 보조 도구로 머무는 편이 안전합니다.

업계 전체로 보면 생성 AI의 추적 가능성이 서비스의 필수 요건으로 떠오를 전망입니다. OpenAI가 이 방식을 상용화하면 메타나 구글 같은 경쟁사는 물론 오픈소스 모델 진영에도 유사한 안전장치를 마련하라는 압박이 거세질 것입니다.

하지만 이 방식이 완벽한 해결책이 되기는 어렵다고 봅니다. 통계적 워터마크는 사용자가 중간에 단어 몇 개를 동의어로 바꾸거나 다른 도구로 문장을 재구성하는 순간 쉽게 파괴될 수 있습니다. AI 생성물 판별을 둘러싼 창과 방패의 싸움은 이제 막 1라운드에 들어섰을 뿐입니다.