AI 텍스트 탐지기, 영어가 모국어 아닌 작성자 차별 논란

영어가 모국어가 아닌 사람이 몇 시간에 걸쳐 정성껏 작성한 과제나 입사 지원서가 AI 감지기에 의해 부정행위로 낙인찍힐 위험이 매우 높은 것으로 나타났습니다.

스탠퍼드 대학교 제임스 조우 조교수가 이끄는 연구진이 국제 학술지 '패턴스'에 발표한 논문에 따르면, 시중에 널리 쓰이는 대화형 AI 감지 프로그램 7종이 비원어민 작성자를 심각하게 차별하고 있는 것으로 드러났습니다.

토플 에세이는 AI 글로 몰고, 원어민 글은 통과

연구진은 공인 영어 시험인 토플(TOEFL)에 제출된 비원어민 에세이 91편을 7개의 유명 GPT 감지 도구에 넣어 테스트했습니다.

결과는 충격적이었습니다. 절반 이상의 글이 AI가 생성한 것으로 잘못 판정되었으며, 한 감지 프로그램은 전체 토플 에세이의 무려 98%를 AI가 쓴 글로 분류했습니다.

반면 영어를 모국어로 쓰는 미국 중학교 2학년 학생들이 쓴 작문을 테스트했을 때는 완전히 다른 결과가 나왔습니다. 동일한 감지기들이 90% 이상의 글을 사람이 쓴 것으로 정확하게 구분해냈습니다.

일부 감지기 개발사들은 자사 도구의 정확도가 99%에 달한다고 홍보하고 있지만, 연구진은 이러한 주장이 잘 쳐줘야 심각한 오도에 불과하다고 지적했습니다.

단어가 쉬우면 로봇으로 보는 알고리즘

이러한 오판의 원인은 감지 도구가 텍스트를 평가하는 작동 원리에 있습니다.

이들 프로그램은 언어 모델이 다음 단어를 예측할 때 느끼는 의외성의 정도를 뜻하는 텍스트 펄플렉시티(text perplexity)라는 지표를 주로 활용합니다. 다음 단어를 쉽게 예측할 수 있으면 수치가 낮게 나오고, 예상하기 힘든 단어가 나오면 수치가 높게 책정됩니다.

챗GPT 같은 대규모 언어 모델은 자연스럽게 예측도가 높은 매끄러운 문장을 생성하도록 훈련되어 있습니다. 문제는 영어가 모국어가 아닌 사람들도 익숙하고 단순한 어휘와 정형화된 문장 구조를 자주 쓴다는 점입니다. 알고리즘 눈에는 이 단순함이 AI가 작성한 문장과 똑같아 보이는 셈입니다.

연구진은 한 걸음 더 나아가 역설적인 실험도 진행했습니다. 오탐 판정을 받은 토플 에세이를 챗GPT에 넣고 더 정교하고 어려운 어휘로 다시 쓰도록 요청했습니다.

그렇게 완전히 AI가 다듬은 글을 다시 감지기에 돌리자, 놀랍게도 모든 글이 사람이 직접 작성한 글로 판정되었습니다. 자신이 인간임을 증명하기 위해 오히려 AI의 도움을 받아야만 하는 기형적인 모순이 발생한 것입니다.

왜 중요한가

대학 입학과 채용 시장에서 AI 감지기가 남용될 경우, 유학생이나 외국인 구직자들은 단순히 언어 구사력이 소박하다는 이유만으로 치명적인 불이익을 당할 수 있습니다. 성실하게 작성한 글이 표절이나 치팅으로 의심받아 학업과 커리어에 돌이킬 수 없는 피해를 입게 되는 셈입니다.

우리는 문장의 어휘 수준을 근거로 인간 여부를 판별하려는 감지기의 접근 방식 자체가 근본적인 결함을 안고 있다고 봅니다. 이는 비원어민에게 기술적인 장벽을 덧씌우는 알고리즘 차별에 불과합니다.

키프로스 개방 대학교의 야나 오터바커 연구원이 지적했듯, 생성형 AI는 대중의 데이터를 먹고 자라며 사용자를 만족시키는 법을 배우기 때문에 결국 그 어떤 감지기도 가볍게 뛰어넘을 것입니다. AI를 또 다른 AI로 잡겠다는 발상 자체가 승산 없는 군비 경쟁입니다.

정확도 99%라는 마케팅 문구만 믿고 감지기를 맹신하는 기관들은, 정작 교묘하게 AI를 악용하는 사람은 놓치고 억울한 비원어민 작성자들만 골라 처벌하는 우를 범하고 있습니다.