Kaggle 辦首屆 AI 象棋賽：o3 與 Gemini 等 8 大模型硬拼推理

不用專業引擎，讓大語言模型靠純文本來一盤國際象棋，會發生什麼？

答案可能不是高深莫測的戰略大師，而是一群經常「看不清棋盤」甚至記不住規則的偏科生。

Google 旗下資料科學平臺 Kaggle 宣佈聯合 DeepMind 推出 AI 基準測試平臺 Game Arena，首屆賽事直接拉來八款頂尖大模型下國際象棋。入選陣容包括 OpenAI 的 o3 和 o4-mini、Google 自己的 Gemini 2.5 Pro 與 Gemini 2.5 Flash、Anthropic 的 Claude Opus 4、xAI 的 Grok 4、深度求索的 DeepSeek-R1，以及月之暗面的 Kimi k2。

拔掉外掛，純靠文字「腦補」棋盤

這場比賽最苛刻的地方在於「完全禁賽引擎」。所有模型都不能接入 Stockfish 這類專用象棋演算法，只能接收純文本形式的局勢輸入，每步棋最多給 60 分鐘思考時間。

為了檢驗模型的真實空間想像力，系統甚至不會提供合法走法列表。模型必須自己算出合法的一步，如果走出違規招法，最多隻有三次重試機會，第四次依然違規就直接判負。

官方還請來頂級主播 Hikaru Nakamura、Levy Rozman 以及棋王 Magnus Carlsen 參與解說與復盤。

首個比賽日的戰況相當慘烈。在四場八強淘汰賽中，Gemini 2.5 Pro、o4-mini、Grok 4 和 o3 分別以 4 比 0 的絕對比分橫掃 Claude Opus 4、DeepSeek-R1、Gemini 2.5 Flash 和 Kimi k2。

但比分並不意味著高質量對決。據 Chess.com 報道，Kimi k2 對陣 o3 的比賽甚至沒有一局撐過 8 步，全都因為連續四次給出非法走法而直接判負。許多模型只要背過的開局譜一走完，立刻陷入幻覺，連棋子的基本走法都會忘光，或者徹底記錯棋子的座標位置。相比之下，o4-mini 還在對陣 DeepSeek-R1 時完成了兩次真正的「將死」，已經算發揮亮眼。

除了直播的淘汰賽，Kaggle 還會通過數百場不公開的隨機對局生成一份長期維護的動態排行榜。

為什麼重要

大模型下棋的狼狽樣，恰恰戳破了純語言模型在「內部世界表徵」上的短板。

普通使用者和開發者平時看大模型寫程式碼、寫文章頭頭是道，但在面對需要嚴格狀態追蹤和空間推理的任務時，純文本生成很容易被「幻覺」絆倒。Kaggle 搞這個競技場很聰明，傳統的文本跑分早就被各大模型「刷爆」了，而下棋這種對抗性博弈很難靠死記硬背刷分，還能順便測出模型的心智理論和推演深度。未來他們還打算引入狼人殺、圍棋和複雜影片遊戲，進一步測試多智慧體溝通與欺騙能力。

不過，業界對於這種評測也有清醒的認識。Constellation Research 分析師 Holger Mueller 就直言，這類比賽更偏向電競娛樂性質，大模型在棋盤上再厲害，企業客戶也不會因此買單，大家關心的依然是它能不能穩定處理業務流程。

我們認為，圍棋或國際象棋在專用 AI 時代早就被 AlphaZero 解決，現在回過頭測大模型，看的不是棋力有多高，而是通用模型到底有沒有真正的「常識空間感」。目前看來，想讓大模型完全脫離外部工具獨立處理高精度邏輯，依然是個非常不現實的奢望。