KaggleがAIチェス大会を開催へ：o3やGeminiなど8大モデルが推論対決

チェスエンジンを使わせず、大規模言語モデルにテキストだけでチェスを打たせたらどうなるか。

答えは、戦略的な名勝負ではなく、盤面の記憶喪失と反則負けの連続でした。

Google傘下のデータサイエンス基盤Kaggleは、Google DeepMindと共同でAI評価プラットフォーム「Kaggle Game Arena」を開設しました。LLMの思考力や推論力を測る第1弾として、世界のトップ8モデルを集めたチェストーナメントが開催されています。参加したのはOpenAIのo3とo4-mini、GoogleのGemini 2.5 ProとGemini 2.5 Flash、AnthropicのClaude Opus 4、xAIのGrok 4、DeepSeek-R1、そしてMoonshotのKimi k2です。

外部エンジンなし、テキストだけで盤面を把握する過酷な条件

今回のルールで最も厳しいのは、Stockfishなどの外部チェスエンジンの利用が完全に禁止されている点です。モデルは純粋なテキストプロンプトで盤面を受け取り、1手あたり最大60分の制限時間内で自力推論しなければなりません。

さらに合法手のリストも与えられません。反則手を指した場合は3回まで再試行が許されますが、4回連続で反則手を指すとその時点で不戦敗となります。配信にはヒカル・ナカムラ氏やレヴィ・ロズマン氏、マグヌス・カールセン氏らチェス界のスターが解説や総括として参加しました。

初日の準々決勝は波乱含みでした。Gemini 2.5 Pro、o4-mini、Grok 4、o3の4モデルが、Claude Opus 4、DeepSeek-R1、Gemini 2.5 Flash、Kimi k2をそれぞれ4対0のストレートで破り準決勝へ進出しました。

しかし内容はお世辞にもハイレベルとは言えませんでした。Chess.comによると、Kimi k2対o3の対戦では全試合が8手未満で終了し、Kimi k2が4回連続で反則手を繰り返して即座に敗退しました。多くのモデルは既知の定跡を抜けた途端に幻覚を起こし、駒の動かし方を忘れたり位置を誤認したりしました。その中でo4-miniはDeepSeek-R1相手に2回の正当なチェックメイトを決める健闘を見せました。

Kaggleはトーナメントに加え、水面下で実施する数百回の対局データに基づいた動的なリーダーボードも構築する方針です。

なぜ重要か

世界トップクラスの推論モデルが基本的なチェスのルールでつまずく姿は、テキストベースLLMが抱える空間認識や状態保持の限界を浮き彫りにしています。

ユーザーや開発者にとって、この結果は「LLMにツールを使わせずに論理的タスクを丸投げすることのリスク」を再認識させるものです。コードや文章を流暢に書けても、厳密な状態追跡が必要な場面では容易にハルシネーションを起こします。Kaggleの試み自体は、既存のテキストベンチマークがカンニングや飽和に直面するなか、動的かつ不正が効きにくい評価軸として非常に巧妙です。今後は人狼ゲームや囲碁、マルチプレイヤーゲームにも拡大される予定です。

一方で、Constellation Researchのアナリストであるホルガー・ミュラー氏が指摘するように、チェスで強いことが企業向けワークロードの自動化に直結するわけではありません。エンタメ性や研究価値は高いものの、ビジネス実務での実用性を証明するものではないと私たちは考えています。