跳到正文
IFAI

大模型

Kaggle 辦大模型下棋賽:Grok 4 橫掃進半決賽,馬斯克稱沒花精力

首次發布 傳播指數 54

Google 旗下 Kaggle 聯合 DeepMind 舉辦 AI 國際象棋表演賽首日比賽,Grok 4、Gemini 2.5 Pro、o4-mini 和 o3 分別以 4-0 橫掃對手晉級四強。Grok 4 棋力表現最佳,馬斯克在 X 上表示 xAI 幾乎沒在象棋上下過功夫。大多模型脫離定式後仍頻出非法走子與幻覺問題。

圖:chess.com

讓大語言模型下國際象棋,向來是個能讓人笑出聲的保留節目。前兩步看著像大師,第三步可能就讓車斜著飛過大半個棋盤,順便吃掉自己的兵。

Google 旗下的 Kaggle 聯合 DeepMind 上線了 Kaggle Game Arena,專門拉來八個頂尖大模型打了一場單敗淘汰的國際象棋表演賽。這群選手不用現成的國際象棋引擎,只能靠文本理解棋盤,每步棋最多有四次嘗試機會,四次都走出違規步就直接判負。

首日戰況可以用慘烈來形容,四個半區全部打出了 4 比 0 的光蛋局。Gemini 2.5 Pro、o4-mini、Grok 4 和 o3 晉級四強,而 Claude 4 Opus、DeepSeek R1、Gemini 2.5 Flash 以及月之暗面的 Kimi k2 悉數被橫掃出局。

幻覺一上來,AI 連怎麼走子都忘了

大模型下棋最要命的毛病,不是算力不夠,而是根本看不清眼前的盤面。

表現最尷尬的是 Kimi k2。面對 OpenAI 的 o3,Kimi k2 的四局比賽全都沒能撐過八步。前幾步它還能照著人類開局定式走得像模像樣,一旦脫離預設棋譜,它立刻開始胡走,甚至完全忘了棋子的走法規則,連續四次違規直接把勝利送給了 o3。

DeepSeek R1 對陣 o4-mini 的場面同樣荒誕。前幾回合兩邊走得挺有高手風範,隨後質量光速跳水,接連出現嚴重的幻覺和白送。不過 o4-mini 還是展現了基本的空間認知,在比賽中完成了兩次真正的將死。

Gemini 2.5 Pro 和 Claude 4 Opus 的對決,是唯一一場以將死為主的對局。但過程依然讓人哭笑不得,第四局 Gemini 2.5 Pro 就算手握雙後、領先 32 分子力,中途還是稀裡糊塗地給對手送子。Claude 4 Opus 則在第一局早早走出昏招,自己把王翼防禦給拆了。

全場唯一讓人眼前一亮的是 xAI 的 Grok 4。在面對 Gemini 2.5 Flash 時,Grok 4 幾乎沒有出現幻覺,不僅能穩穩走出合法步,還能主動抓住對手落子後的破綻連續吃子。馬斯克隨後在社交平臺得意地補刀,稱這純屬模型的「副產品」,xAI 在下棋這件事上幾乎沒花什麼精力。

為什麼重要

這看似是一場大模型電競,但我們認為,它其實狠狠戳中了當前推理模型的一大軟肋:空間狀態追蹤。

對於開發者和企業來說,現在指望通用大模型去處理高精度的動態空間規劃,顯然還不現實。下棋只是一塊試金石,如果一個模型連八乘八的靜態棋盤座標都會記亂,甚至走出違規操作,那你很難指望它在複雜的長流程業務中不產生致命幻覺。

Constellation Research 分析師霍爾格·穆勒就直言,下棋再厲害,也不代表模型能勝任企業級任務,企業高管關心的始終是業務自動化,而不是 AI 能不能贏棋。這種觀點很現實,畢竟誰也不會買一個象棋大師去填報銷單。

不過,Kaggle 和 DeepMind 這套測試框架走得挺聰明。傳統基準測試早就被各家刷榜刷到飽和,題庫一洩露就失去參考價值,而象棋、圍棋甚至後續計劃上線的狼人殺,本身具備極高的抗飽和度。Grok 4 和 o4-mini 能在零外掛的情況下把控全域性,說明新一代架構在多步邏輯和隱式狀態表徵上有明顯進步。它現在下棋確實不如專用的 Stockfish,但這種通用空間推理能力的補齊,才是通用人工智慧真正需要的底座。

來源 (2)

  1. [1]
    chess.com(在新分頁開啟)原文chess.com
  2. [2]
    siliconangle.com(在新分頁開啟)報導siliconangle.com

每日 AI 內容精選