OpenAI 开源事实基准 SimpleQA：GPT-4o 正确率不足 40%

SimpleQA 是 OpenAI 开源的一套专门衡量大语言模型事实准确率的基准测试集，目标很直接：测出模型到底有多喜欢「瞎编」。

它一共包含 4326 个简短的事实类问题。这些问题涵盖科技、电视节目、电子游戏等多个领域，核心特点是每个问题都有唯一、无可争议且不随时间改变的标准答案。

它是怎么做出来的

为了不让评测本身出错，OpenAI 在题目筛选上下了很大功夫。标注员在网上找题时，挑的大多是原本就能诱发 GPT-4o 或 GPT-3.5 产生幻觉的偏门事实。

每道题目都由第二位独立的标注员背靠背盲测作答，只有两人答案完全一致才会被收录。随后第三位标注员抽检了其中的 1000 道题，答案一致率达到 94.4%。人工核查后确认，数据集本身的固有错误率被压低到了 3% 左右。

在评测流程上，SimpleQA 极为轻量。它调用 ChatGPT 作为裁判，比对模型回答和标准答案，并打上三种标签：完全正确的 Correct、存在矛盾的 Incorrect，以及老实认怂的 Not attempted。

这种设计让测试的运行速度极快、方差很小，开发者直接调用 OpenAI API 或其他前沿模型的 API 就能完成批处理评测，不需要搭建复杂笨重的本地评测环境。

前沿模型的翻车现场

哪怕是目前最聪明的一批模型，在 SimpleQA 面前也很难看。在不联网检索的前提下，GPT-4o 的正确率甚至不到 40%。像 gpt-4o-mini 这类小模型因为常识储备更少，得分还要更低。

有意思的是推理模型的表现。o1-preview 和 o1-mini 选择「放弃作答」的比例明显高于 GPT-4o。这说明推理能力可以帮模型意识到自己知识盲区的边界，宁可不回答也不硬猜。

SimpleQA 还被用来测量模型的「置信度校准」，也就是 AI 懂不懂自己究竟知道多少。测试发现，当你让模型给自己打一个百分比置信度时，虽然数值与正确率正相关，但数据点全部落在实际准确率之上。换句话说，大模型普遍存在严重的过度自信。

目前 SimpleQA 已经把数据集和评测代码完整开源在 GitHub 上，直接拉取就能跑。它的局限也很明确：只测单点事实问答，无法评估长篇大论中夹杂细节事实的复杂场景。

为什么重要

如果你在做大模型落地或者做 RAG 检索增强系统，SimpleQA 是个非常称手的质检工具。它直接撕掉了以往 TriviaQA 等旧基准刷到接近满分的遮羞布，告诉你模型原生记忆里到底有多少水分。

对行业来说，它把对抗幻觉的焦点从「模型答得有多像那么回事」，拉回到了「不知道时能不能诚实闭嘴」。能逼着各家实验室把优化方向转移到置信度校准和知识边界认知上，这比单纯刷排行榜分数实在得多。