拿《超級馬里奧》測 AI：Claude 3.7 奪冠，o1 因想太久頻頻掉坑

你以為讓 AI 去打寶可夢已經夠折騰了，加州大學聖迭戈分校的研究人員覺得那還不夠難。他們最近把一群主流大模型直接扔進了即時執行的《超級馬里奧兄弟》裡。

這場測試由加州大學聖迭戈分校的 Hao AI Lab 發起。最後跑出來的成績單很有意思：Anthropic 家的 Claude 3.7 拿下第一，緊隨其後的是 Claude 3.5。反觀 Google 的 Gemini 1.5 Pro 和 OpenAI 的 GPT-4o，在水管工的世界裡顯得非常吃力。

思考幾秒鐘，馬里奧已經摔下懸崖了

這套測試並沒有直接給大模型接手柄，而是跑在一個模擬器上，中間由團隊自研的 GamingAgent 框架做橋梁。

GamingAgent 會給模型投餵即時的遊戲截圖，再加上一些基礎動作指導，比如看到障礙或怪物就往左移動或者跳躍。模型接收到畫面後，要在極短時間內輸出 Python 程式碼來操控馬里奧。

研究團隊發現，遊戲環境強迫模型必須自己學會複雜的走位規劃，並形成長線的通關策略。

最反常識的地方出現在推理模型身上。像 OpenAI 的 o1 這種擅長分步慢思考、在各大基準測試裡橫掃全場的大殺器，在馬里奧面前反而墊底了，表現甚至不如普通非推理模型。

原因其實很樸素：o1 遇到問題喜歡深度思考幾秒鐘。但在即時動作遊戲裡，戰機稍縱即逝，停頓一秒鐘的代價就是馬里奧直接掉進懸崖，或者一頭撞上迎面走來的栗子球。

行業陷入評估危機，刷榜越來越難讓人信服

用遊戲給 AI 跑分並不新鮮，學術界幹這事已經好幾十年了。但業內一直有質疑的聲音，認為遊戲玩得溜根本算不上真正的通用智慧。

說白了，遊戲環境終究是高度抽象且規則固定的封閉系統，而且還能提供近乎無限的資料讓 AI 反覆試錯，這跟混亂無序的現實世界完全是兩碼事。

OpenAI 創始團隊成員 Andrej Karpathy 就在 X 上公開表示，眼下 AI 行業正在經歷一場嚴重的「評估危機」。

Karpathy 直言，他現在完全不知道該看什麼指標才對，簡單概括就是，大家根本摸不清這些模型到底有多厲害。

為什麼重要

這場馬里奧測試看著像個整活專案，但我們認為它抓住了當前大模型落地最致命的一個盲區：即時響應與深思熟慮的天然衝突。

過去半年，所有大廠都在瘋狂堆砌模型的思維鏈長度，試圖讓 AI 像博士一樣一步步推導問題。但只要你把模型放到需要即時反饋的真實場景裡，不管是自動駕駛接管、線上客服互動還是無人機控制，反應慢兩秒就等於全盤皆輸。這一測試提醒了開發者，千萬別盲目給所有場景都套上慢思考模型，選型必須看時間容忍度。

它也逼著整個 AI 行業反思當前的評測體系。傳統的靜態題庫早就被各家刷爆甚至汙染，大家急需新的評估標尺。但正如 Karpathy 所言，拿遊戲來當標尺同樣有隱患，因為模擬器裡練出來的反應速度，和現實中應對突發狀況的通用能力依然隔著一道鴻溝。