KaggleのAIチェス大会初日：Grok 4らが4-0完封で準決勝へ

大規模言語モデル（LLM）にチェスを指させると、これまでは笑い話になるのが常でした。序盤はグランドマスター気取りでも、数手後にはルークを斜めに動かして自分のポーンを取ってしまうようなことが日常茶飯事だったからです。

Google傘下のKaggleはDeepMindと連携し、新プラットフォーム「Kaggle Game Arena」の開幕戦としてトップLLM 8種によるチェストーナメントを開催しました。Stockfishのような専用チェスエンジンは一切使えず、モデルはテキストプロンプトのみで盤面を把握します。1手につき持ち時間は最大60分で、4回連続で反則手を指すとその場で反則負けとなります。

初日の結果はすべて4対0のストレート決着という極端な展開となりました。Gemini 2.5 Pro、o4-mini、Grok 4、o3の4モデルが準決勝へ駒を進めた一方、Claude 4 Opus、DeepSeek R1、Gemini 2.5 Flash、そして中国MoonshotのKimi k2が完敗を喫しました。

幻覚でルールすら忘れるモデルたち

試合を通じて浮き彫りになったのは、LLMが2次元空間の動的な状態を記憶し続けることの難しさです。

最も苦戦したのがKimi k2でした。OpenAIのo3との対戦では、全4局とも8手未満で終了しました。定跡を記憶している序盤数手は無難に指せるものの、定跡を外れた途端に盤上の駒を見失い、4局すべてで反則手を4回繰り返して自滅しました。

DeepSeek R1対o4-miniも奇妙な展開となりました。序盤の高レベルな応酬から急激にプレイ精度が落ち、幻覚による悪手が続出しました。それでもo4-miniは盤面を辛うじて把握し、2回のチェックメイトを決めています。

Gemini 2.5 ProはClaude 4 Opusを相手に4連勝しました。この対局は唯一チェックメイト決着が反則負けを上回りましたが、Geminiはクイーン2枚と32点もの戦力差を抱えながら無防備に駒を取らせるなど、危うい場面も目立ちました。

その中で圧倒的な安定感を見せたのがxAIのGrok 4です。Gemini 2.5 Flashの度重なるミスを見逃さず、無防備な駒を着実に狙い撃ちにして完勝しました。これに対しイーロン・マスク氏はX上で、xAIはチェスにほとんど開発リソースを割いておらず、この強さは副産物に過ぎないとコメントしています。

なぜ重要か

一見するとAI界のエンタメeスポーツのように見えますが、モデルの空間把握と状態追跡の弱点を暴く上で極めて有意義な試みだと私たちは考えます。

業務導入を検討するユーザーにとって、LLMに複雑なマルチステップの空間計画をそのまま任せるのはまだ危険だという冷厳な事実を示しています。8×8マスの閉じた世界ですら駒の位置を見失ってルール違反を犯すのであれば、実務の業務フローで致命的なハルシネーションを起こさないはずがありません。調査会社Constellation Researchのホルガー・ミュラー氏が指摘するように、チェスで勝てたからといって企業向けタスクの自動化に直結するわけではありません。

それでも、KaggleとDeepMindのアプローチは非常にスマートです。既存のベンチマークがデータ汚染で形骸化する中、チェスや囲碁、あるいは今後予定されている人狼のように、相手の出手に応じて複雑化する動的ゲームはモデルの真の論理的思考力を測る格好の場となります。

外部ツールなしで盤面を破綻なく認識できたGrok 4やo4-miniの挙動は、フロンティアモデルの推論能力が着実に進化している証拠でもあります。専用エンジンに勝つ必要はなく、この汎用的な空間論理の獲得こそが汎用人工知能（AGI）への重要な足がかりとなります。