OpenAI "LLM 환각의 주원인은 '찍기'를 유도하는 정답률 중심 평가 방식"

객관식 시험에서 답을 전혀 모를 때, 빈칸으로 내시겠습니까 아니면 아무 번호나 찍으시겠습니까?

대부분은 찍는 쪽을 택할 것입니다. 빈칸은 무조건 0점이지만, 찍으면 맞힐 확률이라도 생기기 때문입니다. 현재의 AI 모델들 역시 바로 이 잘못된 보상 구조 때문에 아는 척을 멈추지 못하고 있습니다.

OpenAI는 9월 5일 대형 언어 모델이 왜 환각(할루시네이션)을 일으키는지 분석한 연구 결과를 공개했습니다. 모델이 확신에 차서 거짓말을 지어내는 핵심 이유는 현행 훈련과 평가 방식이 불확실성을 인정하는 것보다 무모한 추측을 더 크게 보상하기 때문이라는 지적입니다.

AI를 도박꾼으로 만드는 벤치마크 순위표

환각의 가장 골치 아픈 점은 모델이 터무니없는 오답을 매우 그럴듯하고 당당하게 내놓는다는 것입니다. 논문 공동 저자인 아담 타우만 칼라이가 자주 쓰이는 챗봇에 자신의 박사 학위 논문 제목을 묻자 전혀 다른 제목 세 개를 자신 있게 지어냈고, 생일을 묻자 역시 세 개의 엉뚱한 날짜를 내놓았습니다.

AI가 모른다는 말을 꺼리는 이유는 채점 방식에 있습니다. 어떤 사람의 생일을 모를 때 아무 날짜나 찍으면 365분의 1 확률로 맞힐 수 있지만, 솔직하게 모른다고 답하면 확정적으로 0점을 받습니다.

수천 개의 벤치마크 문제를 푸는 과정에서, 모를 때 과감히 찍는 모델이 신중하게 답변을 보류하는 모델보다 순위표에서 더 높은 점수를 받게 됩니다. OpenAI는 GPT-5 시스템 카드에 공개된 SimpleQA 평가 사례를 들며, 구형 o4-mini 모델이 표면적인 정확도는 약간 더 높았지만 불확실한 질문에 무리하게 찍는 바람에 환각 오류율은 훨씬 높았다고 설명했습니다.

사전 훈련 과정의 한계도 큽니다. 철자법이나 문법 구조는 일관된 패턴이 있어 모델 크기가 커질수록 오류가 사라지지만, 특정인의 생일처럼 무작위적이고 빈도가 낮은 사실 정보는 다음 단어 예측만으로는 유추할 수 없어 결국 환각으로 이어집니다.

환각을 둘러싼 대표적인 오해들

OpenAI는 이번 발표를 통해 업계에 만연한 몇 가지 통념을 반박했습니다.

우선 정확도를 100%로 끌어올리면 환각이 완전히 사라질 것이라는 믿음은 환상에 불과합니다. 현실에는 맥락이 부족하거나 본질적으로 답을 낼 수 없는 질문이 무수히 많기 때문에 정확도는 결코 100%에 도달할 수 없습니다.

환각을 피하기 위해 반드시 초대형 모델이 필요한 것도 아닙니다. 마오리어를 전혀 모르는 소형 모델은 마오리어 질문을 받았을 때 망설임 없이 모른다고 기권할 수 있습니다. 반면 어설프게 아는 대형 모델이 확신도를 조절하는 데 훨씬 더 많은 연산이 필요합니다.

또한 별도의 환각 테스트를 만드는 것만으로는 부족하며, 주류 평가 벤치마크 자체가 확신에 찬 오답에 감점을 주고 불확실성을 인정하는 답변에 부분 점수를 주는 방식으로 바뀌어야 한다고 강조했습니다.

왜 중요한가

우리는 OpenAI가 이번 논문을 통해 영리한 문제 제기를 했다고 봅니다. 오랫동안 AI의 고질병이자 미지의 버그처럼 여겨졌던 환각 문제를 평가 지표와 인센티브라는 구조적 문제로 명쾌하게 재정의했기 때문입니다.

기업 고객과 개발자 입장에서는 모델을 고르는 기준을 다시 생각해야 할 시점입니다. 의료, 법률, 금융처럼 오류의 대가가 큰 분야에서는 억지로 찍어 정답률을 1% 올린 모델보다, 모를 때 확실하게 모른다고 말하고 추가 정보를 요구하는 모델이 훨씬 안전하고 가치 있습니다.

다만 업계 전반의 평가 문화를 바꾸는 데는 적잖은 진통이 따를 것으로 보입니다. 오답 감점제나 기권 인정 방식은 낯선 개념이 아니지만, 숫자로 우열을 가리는 벤치마크 마케팅 경쟁 속에서 섣불리 몸을 사려 정답률을 떨어뜨리는 모델은 겉보기에 뒤처져 보일 위험이 있기 때문입니다. OpenAI의 이번 제안은 GPT-5의 신중한 설계를 변호하는 동시에, 숫자 중심의 소모적인 성능 경쟁 판도를 흔들려는 시도로 풀이됩니다.