OpenAI, 사실성 벤치마크 'SimpleQA' 공개: GPT-4o 정답률 40% 미만

SimpleQA는 언어 모델이 사실에 기반한 정답을 얼마나 잘 맞히는지 측정하기 위해 OpenAI가 공개한 오픈소스 벤치마크입니다. 모델이 그럴듯하게 거짓말을 꾸며내는 환각 현상을 적나라하게 검증하는 데 초점을 맞췄습니다.

데이터셋은 총 4326개의 짧은 사실 질문으로 이뤄져 있습니다. 과학 기술, TV 프로그램, 비디오 게임 등 다양한 분야를 다루며, 모든 문항은 시간이 지나도 변하지 않는 명확하고 반박 불가능한 단일 정답을 가집니다.

제작 방식과 평가 구조

벤치마크 자체의 오류를 줄이기 위해 까다로운 데이터 검증 과정을 거쳤습니다. 인간 트레이너들은 GPT-4o나 GPT-3.5가 쉽게 환각을 일으킬 법한 지엽적인 사실 질문들을 집중적으로 발굴했습니다.

이어 독립적인 두 번째 트레이너가 사전 정보 없이 동일한 질문에 답해 두 사람의 답이 완벽히 일치하는 문항만 선별했습니다. 세 번째 트레이너가 무작위로 추출한 1000개 질문을 재검증했을 때도 일치율은 94.4%에 달해, 데이터셋 자체의 오류율은 약 3% 수준으로 억제됐습니다.

평가 방식도 매우 가볍습니다. 질문과 정답이 간결하기 때문에 프롬프트를 적용한 ChatGPT를 채점관으로 활용해 모델 응답을 '정답(Correct)', '오답(Incorrect)', '미시도(Not attempted)' 세 가지로 빠르게 분류할 수 있습니다. 로컬 환경을 복잡하게 세팅하지 않고 API 호출만으로 저비용 테스트가 가능합니다.

최신 모델들의 실제 성적표

웹 검색을 끈 상태로 테스트한 결과 최신 모델인 GPT-4o조차 정답률이 40% 미만에 그쳤습니다. 배경지식이 적은 gpt-4o-mini 등 경량 모델은 이보다 더 낮은 점수를 기록했습니다.

주목할 부분은 추론 특화 모델의 반응입니다. o1-preview와 o1-mini는 GPT-4o에 비해 '미시도'를 선택하는 빈도가 훨씬 높았습니다. 긴 추론 과정을 통해 자신이 답을 모른다는 사실을 인지하고 무리한 환각 생성을 회피한 셈입니다.

모델이 자신이 알고 있는 지식의 한계를 파악하는 역량인 신뢰도 보정 평가에서는 모든 모델이 정답률보다 높은 자신감을 표출하며 심각한 '과신' 상태를 보였습니다. 다만 동일 질문을 100회 반복해 일관성을 확인한 실험에서는 o1-preview가 가장 실제 정답률에 수렴하는 보정 능력을 나타냈습니다.

코드와 데이터셋은 GitHub에 모두 공개되어 있습니다. 다만 단답형 사실 검증에 국한되어 있어 장문의 글 안에 섞인 복합적 사실 관계를 평가하는 데는 한계가 있습니다.

왜 중요한가

RAG 검색 파이프라인이나 기업용 LLM을 자체 검증해야 하는 엔지니어라면 SimpleQA를 즉시 돌려볼 만합니다. TriviaQA 같은 기존 벤치마크는 점수가 포화 상태에 이르러 최신 모델 간 변별력이 없었지만, 이 데이터셋은 모델이 지닌 순수 기억의 거품을 정확하게 걷어냅니다.

업계 전반에도 화려한 문장력보다 '모르는 것을 모른다고 인정할 줄 아는 능력'을 평가 테이블 위로 끌어올렸다는 점에서 실질적인 기준점이 될 수 있습니다.