AI 基準測試失靈調查：MMLU 等主流跑分很難測出真實水平

每次科技大廠開發佈會，PPT 上總少不了一張張花花綠綠的柱狀圖。Google 去年底說自家的 Gemini 在 MMLU 考試裡拿下 90.0 分，破天荒超過了人類專家；Meta 的扎克伯格轉頭也公開吹噓，最新的 Llama 成績已經飆到了 82 分左右。

大家都在拿這些跑分當成衡量 AI 智商的黃金標尺。但非營利媒體 The Markup 翻閱了數十篇論文、拆解了評估資料集，並採訪多位基準測試的原作者後，得出了一個讓人哭笑不得的結論：這些所謂的權威測試，很多已經基本失效了。

拿昨天的老卷子，考今天的數字大腦

卡耐基梅隆大學助理教授、某基準測試的聯合設計者 Maarten Sap 說得非常直接：衡量 AI 的這把尺子，從根本上就壞掉了。

問題首先出在考題本身的質量上。很多現在還在頻繁引用的基準，當年設計時對應的 AI 遠沒有今天這麼聰明。比如 2019 年誕生的 HellaSwag，主創 Rowan Zellers 解釋說，當時只是想考考模型常識，別在呼啦圈轉完後接一句荒唐的走下轎車就行，五歲小孩都能分得清。

還有不少測試的資料集，當年為了省錢省事，直接從 Reddit、WikiHow 或冷知識網站上批次抓取。甚至有些考量道德與倫理的測試題，是由亞馬遜眾包平臺的臨時工隨手編寫的。

更尷尬的是資料洩露。普林斯頓大學電腦科學教授 Arvind Narayanan 指出，很多基準測試問世多年，早就被大模型在預訓練時全盤吞了下去。相當於學生在進考場之前，早就把標準答案背得滾瓜爛熟。

華盛頓大學語言學教授 Emily M. Bender 則直言，這些基準連最基本的測量有效性都不具備。大模型本質上是在根據海量文本推算下一個詞的機率，它根本不懂邏輯，基準測試的創造者也從沒證明過這套題目能測出真正的理解力。

對於外界的質疑，Google 發言人 Gareth Evans 回應稱，他們會在論文裡公開這些測試的侷限和資料洩露風險，並強調健康醫療非常嚴肅，基準分高不代表能替代醫生。Meta 和 OpenAI 則沒有回覆置評請求。

為什麼重要

我們認為，跑分泡沫破裂對普通使用者來說反而是件好事。大廠把模型吹得神乎其神，甚至宣傳通過了醫學執照考試，很容易誤導普通人盲目相信 AI 的專業判斷。看清跑分的虛幻，大家在查病、問法條時才會多留個心眼，不把機率生成當成專業診斷。

對行業而言，它精準戳破了所謂刷榜驅動的軍備競賽。Arvind Narayanan 說得很準，大家明知測試低質卻不敢停，只是因為投資人和競品需要一個橫向對比的數字。如今舊標尺快被打滿了，行業必須被迫從刷單項客觀題轉向更復雜的多模態、長鏈路以及真實任務評估。

大廠現在的做法看起來更像是一種偷懶的營銷捷徑。用幾道五年前的選擇題證明自己掌握了通用智慧，既省力又能糊弄華爾街。但在高風險的醫療、法律和企業生產環境裡，這種數字遊戲早晚會被真實的翻車事故打破。