AI 基准测试失灵调查：MMLU 等主流跑分很难测出真实水平

每次科技大厂开发布会，PPT 上总少不了一张张花花绿绿的柱状图。Google 去年底说自家的 Gemini 在 MMLU 考试里拿下 90.0 分，破天荒超过了人类专家；Meta 的扎克伯格转头也公开吹嘘，最新的 Llama 成绩已经飙到了 82 分左右。

大家都在拿这些跑分当成衡量 AI 智商的黄金标尺。但非营利媒体 The Markup 翻阅了数十篇论文、拆解了评估数据集，并采访多位基准测试的原作者后，得出了一个让人哭笑不得的结论：这些所谓的权威测试，很多已经基本失效了。

拿昨天的老卷子，考今天的数字大脑

卡耐基梅隆大学助理教授、某基准测试的联合设计者 Maarten Sap 说得非常直接：衡量 AI 的这把尺子，从根本上就坏掉了。

问题首先出在考题本身的质量上。很多现在还在频繁引用的基准，当年设计时对应的 AI 远没有今天这么聪明。比如 2019 年诞生的 HellaSwag，主创 Rowan Zellers 解释说，当时只是想考考模型常识，别在呼啦圈转完后接一句荒唐的走下轿车就行，五岁小孩都能分得清。

还有不少测试的数据集，当年为了省钱省事，直接从 Reddit、WikiHow 或冷知识网站上批量抓取。甚至有些考量道德与伦理的测试题，是由亚马逊众包平台的临时工随手编写的。

更尴尬的是数据泄露。普林斯顿大学计算机科学教授 Arvind Narayanan 指出，很多基准测试问世多年，早就被大模型在预训练时全盘吞了下去。相当于学生在进考场之前，早就把标准答案背得滚瓜烂熟。

华盛顿大学语言学教授 Emily M. Bender 则直言，这些基准连最基本的测量有效性都不具备。大模型本质上是在根据海量文本推算下一个词的概率，它根本不懂逻辑，基准测试的创造者也从没证明过这套题目能测出真正的理解力。

对于外界的质疑，Google 发言人 Gareth Evans 回应称，他们会在论文里公开这些测试的局限和数据泄露风险，并强调健康医疗非常严肃，基准分高不代表能替代医生。Meta 和 OpenAI 则没有回复置评请求。

为什么重要

我们认为，跑分泡沫破裂对普通用户来说反而是件好事。大厂把模型吹得神乎其神，甚至宣传通过了医学执照考试，很容易误导普通人盲目相信 AI 的专业判断。看清跑分的虚幻，大家在查病、问法条时才会多留个心眼，不把概率生成当成专业诊断。

对行业而言，它精准戳破了所谓刷榜驱动的军备竞赛。Arvind Narayanan 说得很准，大家明知测试低质却不敢停，只是因为投资人和竞品需要一个横向对比的数字。如今旧标尺快被打满了，行业必须被迫从刷单项客观题转向更复杂的多模态、长链路以及真实任务评估。

大厂现在的做法看起来更像是一种偷懒的营销捷径。用几道五年前的选择题证明自己掌握了通用智能，既省力又能糊弄华尔街。但在高风险的医疗、法律和企业生产环境里，这种数字游戏早晚会被真实的翻车事故打破。