OpenAI、事実性ベンチマーク「SimpleQA」公開：GPT-4oの正解率は40％未満

SimpleQAは、大規模言語モデルがどれだけ正確に事実を答えられるかを測定するためにOpenAIが公開したオープンソースのベンチマークです。モデルがもっともらしく嘘をつく「ハルシネーション」を浮き彫りにすることを狙っています。

収録されているのは4326件の短い事実確認問題です。科学技術からテレビ番組、ゲームまで多岐にわたる分野をカバーし、すべての問題に対して時間の経過で変化しない、明確で唯一の正解が用意されています。

どのように作られたか

信頼できる評価データを作るため、設問の設計には厳格な基準が設けられました。アノテーターは意図的にGPT-4oやGPT-3.5がハルシネーションを起こしやすい難問をウェブ上で収集しています。

さらに別の独立した作業者が元の回答を見ずに自力で解答し、双方が完全に一致した問題のみを採用しました。第3の作業者による1000問のランダム検証でも一致率は94.4％に達し、データセット自体の固有のエラー率は約3％に抑えられています。

テストの手順も非常にシンプルです。質問と回答が短いため、ChatGPTなどのAPIをジャッジ役としてプロンプトで動かし、出力を「正解」「不正解」「未回答（ギブアップ）」の3通りに分類するだけで高速に評価できます。

主要モデルの検証結果

ウェブ検索を行わない素の状態でテストしたところ、最新鋭のGPT-4oでも正解率は40％未満にとどまりました。常識知識の少ない小型のgpt-4o-miniはさらに低いスコアとなっています。

興味深いのは推論特化型モデルの挙動です。o1-previewやo1-miniは、GPT-4oと比べて「未回答」を選ぶ割合が目立って高くなりました。推論ステップを挟むことで、自分がその知識を持っていないと正しく認識できていることを示唆しています。

また、モデルが自身の知識を把握できているかを測る確信度の測定では、全モデルが実際の正解率よりも高い自信を示す「過信」の傾向が明らかになりました。なお、同じ質問を100回投げて出力の一貫性を調べたテストでは、o1-previewが最も現実に即した確信度を示しました。

データセットと評価スクリプトはGitHub上で公開されています。短い単一回答の問題に特化しているため、長文レポート内の事実確認まではカバーできない点が制約です。

なぜ重要か

RAGシステムや業務向けLLMを検証している開発者にとって、SimpleQAはすぐに導入する価値があるツールです。TriviaQAなどの既存テストが飽和して満点近くに達する中、モデルの内蔵知識の抜け穴を容赦なく暴いてくれます。

業界全体にとっても、単に流暢に嘘を並べるモデルではなく、「分からないときに分からないと言える誠実さ」を定量評価する基準ができた意義は大きいです。