GPT-4.5 튜링 테스트 통과: 페르소나 부여 시 73% 확률로 인간 판정

지난 70여 년간 인공지능이 인간 수준의 지능을 갖췄는지를 가늠하던 상징적 기준인 튜링 테스트가 공식적으로 뚫렸습니다. 기계가 인간을 뛰어넘은 비결은 복잡한 수학 공식이 아니라, 인터넷 밈과 일상 대화에 익숙한 젊은이 페르소나를 흉내 내는 능력이었습니다.

미국 UC 샌디에이고(UCSD) 언어·인지 연구소 연구진이 발표한 사전 공개 논문에 따르면, 약 300명의 참가자를 대상으로 진행된 표준 3자 튜링 테스트에서 오픈AI의 GPT-4.5 모델이 73%의 확률로 진짜 인간이라는 판정을 받았습니다. 이는 무작위 확률인 50%를 크게 웃돌 뿐 아니라, 실제 사람 참가자보다 더 높은 비율로 인간으로 지목된 수치입니다.

페르소나 프롬프트가 가른 승패

이번 연구는 GPT-4.5를 비롯해 메타의 LLaMA 3.1-405B, 오픈AI의 GPT-4o, 그리고 약 80년 전 개발된 초기 챗봇 엘리자(ELIZA)까지 총 4개 시스템을 비교했습니다.

참가자는 5분 동안 익명의 인간과 AI를 상대로 동시에 텍스트 대화를 나눈 뒤, 누가 기계이고 누가 인간인지 판별했습니다.

흥미로운 점은 지시문(프롬프트) 하나로 결과가 완전히 뒤집혔다는 사실입니다. 단순히 인간인 척 설득하라는 기본 프롬프트만 주어졌을 때 GPT-4.5의 승률은 36%에 불과했습니다. 현재 널리 쓰이는 GPT-4o는 21%에 그쳐 80년 전 엘리자의 23%보다도 낮은 성적을 냈습니다.

하지만 인터넷 문화에 밝은 젊은이 같은 구체적인 페르소나를 부여하자 GPT-4.5의 승률은 73%로 치솟았습니다. 메타의 LLaMA 3.1-405B 역시 56%의 승률을 기록하며 심사위원이 인간과 구별하지 못하는 수준을 달성했습니다.

심사위원들은 지식이 아니라 잡담을 물었다

실제 대화 데이터를 살펴보면 전체 상호작용의 60% 이상이 일상생활, 개인적인 취향, 감정적인 반응에 집중되었습니다.

판정관들은 어려운 전문 지식이나 논리 문제를 묻기보다 가벼운 스몰토크를 통해 상대의 인간미를 확인하려 했습니다. 하지만 인류의 방대한 텍스트 데이터를 학습한 거대언어모델(LLM)에게 일상적인 뉘앙스를 흉내 내는 것은 식은 죽 먹기였습니다.

논문 제1저자인 카메론 존스는 기계 시스템이 3자 튜링 테스트를 정식으로 통과한 최초의 실증적 연구라고 설명하면서도, 이것이 AI가 인간처럼 생각한다는 결정적 증거는 아니라고 덧붙였습니다. 구글 소프트웨어 엔지니어 프랑수아 숄레가 지적했듯, 튜링 테스트는 원래 기계의 성능을 측정하는 정량적 시험이라기보다는 철학적 사고실험에 가까웠기 때문입니다.

왜 중요한가

우선 이번 연구는 튜링 테스트가 인공지능의 진정한 지능을 측정하는 지표로서 사실상 수명을 다했음을 보여줍니다. 기계가 실제로 사고하지 못하더라도, 적절한 페르소나를 입혀 모방의 완성도를 높이는 것만으로 테스트를 통과할 수 있다는 점이 명백해졌기 때문입니다.

현실적인 파급력은 보안과 사회적 신뢰 영역에서 훨씬 큽니다. 불과 5분간의 일상 대화에서 판정관의 70% 이상이 기계를 사람으로 착각한다는 것은, 단기 상호작용에서 인간 대체가 이미 완벽한 수준에 도달했음을 의미합니다.

우리는 이 지점이 매우 위험한 부작용을 낳을 수 있다고 봅니다. 정교한 페르소나를 장착한 AI는 고객 지원이나 가상 비서의 편의성을 높여주겠지만, 반대로 고도화된 소셜 엔지니어링 피싱, 가짜 여론 조성, 사기 범죄의 단가를 극단적으로 낮출 수 있습니다. 텍스트 너머의 상대가 진짜 사람인지 직관으로 가려내기 불가능해진 만큼, 디지털 신원 확인과 인증 방식을 재설계해야 할 과제가 코앞으로 다가왔습니다.