OpenAI 開源事實基準 SimpleQA：GPT-4o 正確率不足 40%

SimpleQA 是 OpenAI 開源的一套專門衡量大語言模型事實準確率的基準測試集，目標很直接：測出模型到底有多喜歡「瞎編」。

它一共包含 4326 個簡短的事實類問題。這些問題涵蓋科技、電視節目、電子遊戲等多個領域，核心特點是每個問題都有唯一、無可爭議且不隨時間改變的標準答案。

它是怎麼做出來的

為了不讓評測本身出錯，OpenAI 在題目篩選上下了很大功夫。標註員在網上找題時，挑的大多是原本就能誘發 GPT-4o 或 GPT-3.5 產生幻覺的偏門事實。

每道題目都由第二位獨立的標註員背靠背盲測作答，只有兩人答案完全一致才會被收錄。隨後第三位標註員抽檢了其中的 1000 道題，答案一致率達到 94.4%。人工核查後確認，資料集本身的固有錯誤率被壓低到了 3% 左右。

在評測流程上，SimpleQA 極為輕量。它呼叫 ChatGPT 作為裁判，比對模型回答和標準答案，並打上三種標籤：完全正確的 Correct、存在矛盾的 Incorrect，以及老實認慫的 Not attempted。

這種設計讓測試的執行速度極快、方差很小，開發者直接呼叫 OpenAI API 或其他前沿模型的 API 就能完成批處理評測，不需要搭建複雜笨重的本地評測環境。

前沿模型的翻車現場

哪怕是目前最聰明的一批模型，在 SimpleQA 面前也很難看。在不聯網檢索的前提下，GPT-4o 的正確率甚至不到 40%。像 gpt-4o-mini 這類小模型因為常識儲備更少，得分還要更低。

有意思的是推理模型的表現。o1-preview 和 o1-mini 選擇「放棄作答」的比例明顯高於 GPT-4o。這說明推理能力可以幫模型意識到自己知識盲區的邊界，寧可不回答也不硬猜。

SimpleQA 還被用來測量模型的「置信度校準」，也就是 AI 懂不懂自己究竟知道多少。測試發現，當你讓模型給自己打一個百分比置信度時，雖然數值與正確率正相關，但資料點全部落在實際準確率之上。換句話說，大模型普遍存在嚴重的過度自信。

目前 SimpleQA 已經把資料集和評測程式碼完整開源在 GitHub 上，直接拉取就能跑。它的侷限也很明確：只測單點事實問答，無法評估長篇大論中夾雜細節事實的複雜場景。

為什麼重要

如果你在做大模型落地或者做 RAG 檢索增強系統，SimpleQA 是個非常稱手的質檢工具。它直接撕掉了以往 TriviaQA 等舊基準刷到接近滿分的遮羞布，告訴你模型原生記憶裡到底有多少水分。

對行業來說，它把對抗幻覺的焦點從「模型答得有多像那麼回事」，拉回到了「不知道時能不能誠實閉嘴」。能逼著各家實驗室把最佳化方向轉移到置信度校準和知識邊界認知上，這比單純刷排行榜分數實在得多。