斯坦福釋出第七期 AI 指數報告：跑分逼近人類，研究界急著出新題

上學時我們常說「把卷子做穿」，現在 AI 正把人類出的考卷挨個刷爆。

斯坦福大學以人為本人工智慧研究院（HAI）最近釋出了第七期年度《AI Index》報告。這份報告最耐人尋味的結論其實只有一句話：AI 在絕大多數傳統效能測試上已經把人類甩在身後，以至於現有的跑分體系幾乎全部失效，學者們不得不重新出題，來給人類找回一點尊嚴。

考卷不夠用了

很多人還沒意識到 AI 刷題有多兇猛。早在 2015 年，AI 就在影像分類上超過了人類基準，2017 年拿下基礎閱讀理解，2020 年攻克視覺推理，2021 年搞定自然語言推斷。

到了 2023 年，戰火燒到了更深水區的高難度認知任務。比如包含 1.25 萬道競賽級數學難題的 MATH 資料集，2021 年 AI 的得分率只有可憐的 6.9%，而到了 2023 年，基於 GPT-4 的系統已經衝到了 84.3%，距離人類高水平基準 90% 只有一步之遙。

在考查常識理解的視覺常識推理（VCR）測試中，AI 在 2023 年也躍升到了 81.6 分，逼近人類 85 分的基線。這意味著看到桌上一隻貓，AI 已經能推測出貓可能會跳下來，或者桌子撐得住貓的體重。

影像生成方面同樣誇張，文生圖工具在不到兩年的時間裡就完成了從模糊抽象到照片級質感的躍遷。在 HEIM 的 12 項評測中，DALL-E 2 在圖文匹配度上拔得頭籌，而基於 Stable Diffusion 的 Dreamlike Photoreal 模型則在畫質和美學上領跑。

聰明的偏科生

不過，這個優等生依然有致命硬傷，那就是說謊不眨眼。

報告指出，大語言模型的「幻覺」依然頑固。紐約律師 Steven Schwartz 聽信 ChatGPT 捏造判例被法官罰款 5000 美元的烏龍，就是最典型的反面教材。

在專門針對常識誤區的 TruthfulQA 測試中，即使表現最好的 GPT-4，得分也僅僅只有 0.59。雖然這已經是 2021 年 GPT-2 分數的近三倍，但也說明在近四成容易讓人混淆的嚴肅問題上，模型依然會自信滿滿地給出錯誤答案。

更讓人感慨的是，這份報告統計的資料其實只截止到 2023 年底。進入 2024 年之後，Sora、Claude 3、Suno 和 Devin 這類工具接踵而至，技術迭代的速度早把去年的資料拋在身後。

為什麼重要

這篇報告給所有從業者提了個醒：我們不能再拿舊尺子來量新怪物了。

對普通人和企業來說，這意味著兩件事。第一，只要是規則明確、答案唯一的閉卷考試型任務，比如寫基礎程式碼、解算術題、整理常規資料，AI 的可靠度已經遠超普通打工人，不用就是純粹的效率浪費。第二，幻覺問題在底層機制上還沒徹底根除，在醫療、法律和財務這些容錯率極低的行業，絕對不能讓 AI 閉環執行，必須有人把關。

從行業競爭來看，傳統的學術基準正在徹底貶值。以前各家模型發論文爭奪榜首，現在大家發現跑分高根本不代表在實際業務裡好用，真實工作流中的多步驟推理和長任務執行成了新的分水嶺。

我們認為，AI 界目前最緊迫的矛盾，是評測工具的演進速度遠遠落後於模型能力的膨脹。當 AI 連競賽數學題都能輕鬆拿下時，行業迫切需要一套全新的評價體系，來定義什麼是真正通向通用人工智慧的深度推理，而不是繼續在一堆被刷爆的舊題庫裡打轉。