OpenAI, 사실성 벤치마크 'SimpleQA' 공개: GPT-4o 정답률 40% 미만
OpenAI가 언어 모델의 환각 현상을 측정하는 새 벤치마크 'SimpleQA'를 오픈소스로 공개했다. 명확한 단일 정답이 있는 4326개 질문으로 구성됐으며 최신 모델인 GPT-4o도 정답률이 40% 미만에 그쳤다. 모델이 틀린 답을 내면서도 확신하는 '과신' 현상을 정량화한 것이 특징이다.
OpenAI가 언어 모델의 환각 현상을 측정하는 새 벤치마크 'SimpleQA'를 오픈소스로 공개했다. 명확한 단일 정답이 있는 4326개 질문으로 구성됐으며 최신 모델인 GPT-4o도 정답률이 40% 미만에 그쳤다. 모델이 틀린 답을 내면서도 확신하는 '과신' 현상을 정량화한 것이 특징이다.