캔자스대 연구진, ChatGPT 작성 논문 99% 감별 AI 개발

생성형 AI가 쓴 글을 잡아내는 탐지기는 오진율이 높아 늘 논란이지만, 학술 논문이라는 좁은 영역에서는 다른 결과가 나왔습니다.

미국 캔자스대학교 연구진이 ChatGPT로 작성된 과학 논문을 99퍼센트 이상의 정확도로 식별하는 머신러닝 알고리즘을 개발했다고 밝혔습니다. 연구 결과는 학술지 '셀 리포트 피지컬 사이언스(Cell Reports Physical Science)'에 실렸습니다.

과학자와 챗봇의 문체 격차를 파고들다

연구의 제1저자인 캔자스대 화학과 헤더 디제어 교수는 현재 AI 글쓰기에 뚜렷한 허점이 있다고 꼬집었습니다. 여러 출처에서 텍스트를 짜깁기할 뿐 사실 검증을 거치지 않아, 마치 '두 개의 진실과 하나의 거짓' 게임을 하는 것과 같다는 설명입니다.

연구팀은 생물학부터 물리학까지 다양한 분야의 과학 저널에 실린 '관점(Perspectives)' 기고문 64편을 추렸습니다. 이어 ChatGPT에 동일한 주제를 설명하도록 프롬프트를 입력해 가짜 논문 128편을 만들었고, 총 1276개 문단을 학습 데이터로 썼습니다.

이어 실제 논문과 AI 논문 총 1210개 문단으로 구성된 테스트 데이터셋을 검증한 결과, 논문 단위 판별에서는 100퍼센트 식별에 성공했습니다. 개별 문단 단위로 쪼개어 검증했을 때도 정확도는 92퍼센트에 달했습니다.

알고리즘이 힘을 발휘한 비결은 문체적 차이입니다. 실제 과학자들은 어휘가 훨씬 풍부하고, 더 다양한 단어를 써서 긴 문단을 작성합니다.

문장 부호 활용도 달랐습니다. 인간 연구자들은 복잡한 논리를 짤 때 물음표, 괄호, 쌍발점(세미콜론)을 자주 쓰는 반면, ChatGPT는 인용부호를 제외한 특수 부호 사용 빈도가 현저히 낮았습니다.

또한 ChatGPT는 구체적인 수치나 다른 과학자의 이름을 명시하는 데 취약했습니다. 진짜 논문에서 흔히 쓰이는 'however', 'but', 'although', 'because' 같은 단서 조항이나 역접 접속사의 사용 빈도 역시 AI가 훨씬 낮았습니다.

다만 연구진은 이번 작업이 개념 증명(PoC) 단계라고 선을 그었습니다. 테스트 규모가 문서 180건, 약 1200개 문단으로 크지 않은 데다, ChatGPT가 쓴 글을 인간이 살짝 수정한 경우 얼마나 잘 잡아낼지는 아직 미지수입니다.

왜 중요한가

우리는 이 연구가 모든 텍스트를 잡겠다는 욕심을 버리고, 학술지라는 엄격한 버티컬 영역에 집중한 점이 현명하다고 봅니다. 시중의 범용 AI 탐지기는 억울한 피해자를 양산해 학교 현장에서 외면받고 있지만, 특정 양식이 정형화된 과학 글쓰기에서는 AI의 기계적 한계가 훨씬 선명하게 드러나기 때문입니다.

그렇다고 학술 저널 편집진이나 심사위원이 당장 이 알고리즘을 도입해 퇴짜를 놓는 기준으로 삼기에는 무리가 있습니다. 데이터셋 규모가 작고, 인간이 약간의 리라이팅만 거쳐도 탐지망을 빠져나갈 가능성이 큽니다.

학술 출판 생태계 관점에서는 AI가 대량 생성한 저품질 논문 테러를 막을 수 있는 첫 번째 방어벽 가능성을 보여줬습니다. 하지만 탐지 기준이 알려지면 '세미콜론을 더 넣고 역접 접속사를 섞어 쓰라'는 프롬프트로 우회할 수 있어, 창과 방패의 싸움은 이제 막 시작된 셈입니다.