Kaggle 办首届 AI 象棋赛：o3 与 Gemini 等 8 大模型硬拼推理

不用专业引擎，让大语言模型靠纯文本来一盘国际象棋，会发生什么？

答案可能不是高深莫测的战略大师，而是一群经常「看不清棋盘」甚至记不住规则的偏科生。

Google 旗下数据科学平台 Kaggle 宣布联合 DeepMind 推出 AI 基准测试平台 Game Arena，首届赛事直接拉来八款顶尖大模型下国际象棋。入选阵容包括 OpenAI 的 o3 和 o4-mini、Google 自己的 Gemini 2.5 Pro 与 Gemini 2.5 Flash、Anthropic 的 Claude Opus 4、xAI 的 Grok 4、深度求索的 DeepSeek-R1，以及月之暗面的 Kimi k2。

拔掉外挂，纯靠文字「脑补」棋盘

这场比赛最苛刻的地方在于「完全禁赛引擎」。所有模型都不能接入 Stockfish 这类专用象棋算法，只能接收纯文本形式的局势输入，每步棋最多给 60 分钟思考时间。

为了检验模型的真实空间想象力，系统甚至不会提供合法走法列表。模型必须自己算出合法的一步，如果走出违规招法，最多只有三次重试机会，第四次依然违规就直接判负。

官方还请来顶级主播 Hikaru Nakamura、Levy Rozman 以及棋王 Magnus Carlsen 参与解说与复盘。

首个比赛日的战况相当惨烈。在四场八强淘汰赛中，Gemini 2.5 Pro、o4-mini、Grok 4 和 o3 分别以 4 比 0 的绝对比分横扫 Claude Opus 4、DeepSeek-R1、Gemini 2.5 Flash 和 Kimi k2。

但比分并不意味着高质量对决。据 Chess.com 报道，Kimi k2 对阵 o3 的比赛甚至没有一局撑过 8 步，全都因为连续四次给出非法走法而直接判负。许多模型只要背过的开局谱一走完，立刻陷入幻觉，连棋子的基本走法都会忘光，或者彻底记错棋子的坐标位置。相比之下，o4-mini 还在对阵 DeepSeek-R1 时完成了两次真正的「将死」，已经算发挥亮眼。

除了直播的淘汰赛，Kaggle 还会通过数百场不公开的随机对局生成一份长期维护的动态排行榜。

为什么重要

大模型下棋的狼狈样，恰恰戳破了纯语言模型在「内部世界表征」上的短板。

普通用户和开发者平时看大模型写代码、写文章头头是道，但在面对需要严格状态追踪和空间推理的任务时，纯文本生成很容易被「幻觉」绊倒。Kaggle 搞这个竞技场很聪明，传统的文本跑分早就被各大模型「刷爆」了，而下棋这种对抗性博弈很难靠死记硬背刷分，还能顺便测出模型的心智理论和推演深度。未来他们还打算引入狼人杀、围棋和复杂视频游戏，进一步测试多智能体沟通与欺骗能力。

不过，业界对于这种评测也有清醒的认识。Constellation Research 分析师 Holger Mueller 就直言，这类比赛更偏向电竞娱乐性质，大模型在棋盘上再厉害，企业客户也不会因此买单，大家关心的依然是它能不能稳定处理业务流程。

我们认为，围棋或国际象棋在专用 AI 时代早就被 AlphaZero 解决，现在回过头测大模型，看的不是棋力有多高，而是通用模型到底有没有真正的「常识空间感」。目前看来，想让大模型完全脱离外部工具独立处理高精度逻辑，依然是个非常不现实的奢望。