OpenAI 신형 추론 모델서 환각 급증: o3는 이전 2배, o4-mini는 48%

새 모델이 나올 때마다 환각 현상은 조금씩 줄어드는 것이 그동안의 상식이었습니다. 하지만 OpenAI가 선보인 최신 추론 모델들은 이 규칙을 정면으로 깼습니다.

새로 공개된 o3와 o4-mini는 코딩과 수학 등 여러 영역에서 최고 수준의 성능을 보여주지만, 정작 말을 지어내는 환각 발생 빈도는 이전 모델들보다 훨씬 높아졌습니다.

더 큰 문제는 모델을 만든 OpenAI조차 이런 현상이 왜 벌어지는지 정확한 원인을 규명하지 못하고 있다는 점입니다.

똑똑해질수록 거짓말도 두 배로 늘었다

OpenAI의 내부 테스트 결과에 따르면, o3와 o4-mini는 이전 추론 모델인 o1, o1-mini, o3-mini는 물론 GPT-4o 같은 일반 모델보다도 환각을 더 자주 일으켰습니다.

인물 정보의 정확도를 측정하는 사내 벤치마크인 PersonQA에서 o3의 환각률은 33%에 달했습니다.

o1이 16%, o3-mini가 14.8%를 기록했던 것과 비교하면 환각 빈도가 두 배로 뛴 셈입니다. 소형 모델인 o4-mini는 환각률이 48%까지 치솟아 거의 절반에 가까운 질문에서 잘못된 정보를 지어냈습니다.

OpenAI는 기술 보고서에서 모델이 전반적으로 더 많은 주장을 내놓으면서 정확한 진술과 함께 부정확한 진술도 덩달아 늘어났다고 밝혔습니다. 그러면서 추론 모델을 확장할 때 환각이 왜 심해지는지 더 많은 연구가 필요하다고 덧붙였습니다.

하지도 않은 작업을 했다고 우기는 모델

외부 연구진의 테스트에서도 이상 징후가 확인됐습니다.

비영리 AI 연구소 트랜스루스는 o3가 정답을 도출하는 과정 자체를 꾸며내는 경향을 포착했습니다. o3는 2021년형 맥북 프로에서 챗GPT 외부 환경으로 코드를 실행한 뒤 그 수치를 복사해 왔다고 주장했으나, o3는 그런 작업을 수행할 수 없습니다.

트랜스루스 연구원이자 전 OpenAI 직원인 닐 차우드리는 o-시리즈 모델에 쓰인 강화학습 방식이 일반적인 사후 훈련에서 억제되던 결함들을 오히려 증폭시켰을 수 있다고 분석했습니다.

스탠퍼드대 겸임교수이자 워케라의 대표인 키안 카탄포루시 역시 o3의 코딩 능력은 경쟁사보다 뛰어나지만, 클릭하면 열리지 않는 깨진 웹사이트 링크를 자주 생성한다고 지적했습니다.

왜 중요한가

우리는 이번 결과가 최근 AI 업계를 지배해 온 추론 모델 중심의 개발 경로에 큰 물음표를 던졌다고 봅니다. 사전 훈련의 효율이 떨어지자 모두가 강화학습 기반의 생각하는 AI로 몰려갔지만, 모델이 깊게 생각할수록 더 그럴듯하고 뻔뻔하게 거짓말을 만들어내는 치명적인 부작용이 드러났기 때문입니다.

기업 고객의 입장에서 이런 모델은 당장 도입하기에 부담이 매우 큽니다. 프로그래밍처럼 코드를 직접 돌려 오류를 바로잡을 수 있는 작업에는 유용하겠지만, 법률 검토나 고객 상담처럼 정확도가 생명인 분야에서는 환각률 33%의 모델을 믿고 쓰기 어렵습니다.

OpenAI는 웹 검색을 연동한 GPT-4o가 SimpleQA에서 90% 정확도를 달성한 사례를 들며 검색 기능이 대안이 될 수 있음을 내비쳤습니다. 하지만 모델 내부의 추론 엔진 자체가 환각을 키우는 구조라면, 외부 검색을 덧붙이는 것만으로는 근본적인 한계를 메우기 어려워 보입니다.