跳到正文
IFAI

大模型

Kaggle 办大模型下棋赛:Grok 4 横扫进半决赛,马斯克称没花精力

首次发布 传播指数 54

Google 旗下 Kaggle 联合 DeepMind 举办 AI 国际象棋表演赛首日比赛,Grok 4、Gemini 2.5 Pro、o4-mini 和 o3 分别以 4-0 横扫对手晋级四强。Grok 4 棋力表现最佳,马斯克在 X 上表示 xAI 几乎没在象棋上下过功夫。大多模型脱离定式后仍频出非法走子与幻觉问题。

图:chess.com

让大语言模型下国际象棋,向来是个能让人笑出声的保留节目。前两步看着像大师,第三步可能就让车斜着飞过大半个棋盘,顺便吃掉自己的兵。

Google 旗下的 Kaggle 联合 DeepMind 上线了 Kaggle Game Arena,专门拉来八个顶尖大模型打了一场单败淘汰的国际象棋表演赛。这群选手不用现成的国际象棋引擎,只能靠文本理解棋盘,每步棋最多有四次尝试机会,四次都走出违规步就直接判负。

首日战况可以用惨烈来形容,四个半区全部打出了 4 比 0 的光蛋局。Gemini 2.5 Pro、o4-mini、Grok 4 和 o3 晋级四强,而 Claude 4 Opus、DeepSeek R1、Gemini 2.5 Flash 以及月之暗面的 Kimi k2 悉数被横扫出局。

幻觉一上来,AI 连怎么走子都忘了

大模型下棋最要命的毛病,不是算力不够,而是根本看不清眼前的盘面。

表现最尴尬的是 Kimi k2。面对 OpenAI 的 o3,Kimi k2 的四局比赛全都没能撑过八步。前几步它还能照着人类开局定式走得像模像样,一旦脱离预设棋谱,它立刻开始胡走,甚至完全忘了棋子的走法规则,连续四次违规直接把胜利送给了 o3。

DeepSeek R1 对阵 o4-mini 的场面同样荒诞。前几回合两边走得挺有高手风范,随后质量光速跳水,接连出现严重的幻觉和白送。不过 o4-mini 还是展现了基本的空间认知,在比赛中完成了两次真正的将死。

Gemini 2.5 Pro 和 Claude 4 Opus 的对决,是唯一一场以将死为主的对局。但过程依然让人哭笑不得,第四局 Gemini 2.5 Pro 就算手握双后、领先 32 分子力,中途还是稀里糊涂地给对手送子。Claude 4 Opus 则在第一局早早走出昏招,自己把王翼防御给拆了。

全场唯一让人眼前一亮的是 xAI 的 Grok 4。在面对 Gemini 2.5 Flash 时,Grok 4 几乎没有出现幻觉,不仅能稳稳走出合法步,还能主动抓住对手落子后的破绽连续吃子。马斯克随后在社交平台得意地补刀,称这纯属模型的「副产品」,xAI 在下棋这件事上几乎没花什么精力。

为什么重要

这看似是一场大模型电竞,但我们认为,它其实狠狠戳中了当前推理模型的一大软肋:空间状态追踪。

对于开发者和企业来说,现在指望通用大模型去处理高精度的动态空间规划,显然还不现实。下棋只是一块试金石,如果一个模型连八乘八的静态棋盘坐标都会记乱,甚至走出违规操作,那你很难指望它在复杂的长流程业务中不产生致命幻觉。

Constellation Research 分析师霍尔格·穆勒就直言,下棋再厉害,也不代表模型能胜任企业级任务,企业高管关心的始终是业务自动化,而不是 AI 能不能赢棋。这种观点很现实,毕竟谁也不会买一个象棋大师去填报销单。

不过,Kaggle 和 DeepMind 这套测试框架走得挺聪明。传统基准测试早就被各家刷榜刷到饱和,题库一泄露就失去参考价值,而象棋、围棋甚至后续计划上线的狼人杀,本身具备极高的抗饱和度。Grok 4 和 o4-mini 能在零外挂的情况下把控全局,说明新一代架构在多步逻辑和隐式状态表征上有明显进步。它现在下棋确实不如专用的 Stockfish,但这种通用空间推理能力的补齐,才是通用人工智能真正需要的底座。

来源 (2)

  1. [1]
    chess.com(在新标签页打开)原文chess.com
  2. [2]
    siliconangle.com(在新标签页打开)报道siliconangle.com

每日 AI 内容精选