『スーパーマリオ』でAI性能測定：Claude 3.7が首位、o1は考えすぎて落下死

ポケモンをプレイするAIでも十分難度が高いと思われていましたが、カリフォルニア大学サンディエゴ校の研究チームはさらに過酷な挑戦を用意しました。最新のフロンティアAIモデルを、リアルタイムの「スーパーマリオブラザーズ」に放り込んだのです。

実験を行ったのは同校のHao AI Labです。結果として、AnthropicのClaude 3.7がトップの成績を収め、Claude 3.5がそれに続きました。一方で、GoogleのGemini 1.5 ProやOpenAIのGPT-4oはクリアにかなり苦戦したといいます。

考え込みすぎたAIは穴に落ちる

もちろんファミコンの実機にコントローラーを繋いだわけではありません。エミュレーター上で動くゲーム画面を、独自開発したフレームワーク「GamingAgent」を通じてモデルに入力する仕組みです。

GamingAgentはAIに対し、敵や障害物が近づいたら左に移動またはジャンプして回避せよといった基本指示と、ゲーム内のスクリーンショットを渡します。AIはその情報をもとにPythonコードをリアルタイムで生成し、マリオを操作します。

研究チームによると、各モデルは複雑な立ち回りを計画し、独自の攻略戦略を編み出す必要に迫られました。

ここで最大の番狂わせが起きました。普段のベンチマークテストでは圧倒的な強さを誇るOpenAIのo1のような思考型推論モデルが、非推論モデルよりもはるかに悪い結果を出したのです。

理由は極めて単純で、思考に数秒の時間を要したためです。マリオの世界ではタイミングがすべてであり、数秒の長考はそのまま奈落への転落か、クリボーへの激突を意味します。

ゲーム攻略とAI評価の危機

ゲームを使ったAIの性能測定は何十年も前から行われていますが、専門家の間では疑問の声も根強くあります。ゲームは現実世界と違って抽象的でルールが明確であり、訓練データを理論上いくらでも生成できるからです。

OpenAIの創設メンバーであるAndrej Karpathy氏はこの実験を受け、AI業界が現在「評価の危機」に直面しているとXで指摘しました。

同氏は、いまどの指標を見ればよいのか本当にわからないとし、要するにこれらのモデルが今どれほど賢いのか誰にも把握できていないのが本音だと投稿しています。

なぜ重要か

マリオをプレイさせたという話題自体はエンタメ寄りに見えますが、私たちは現在のAI開発が直面している「思考の深さとレイテンシの衝突」という弱点を鋭く突いた試みだと評価しています。

現在の大手AI企業は思考時間を引き延ばして正解率を上げるアプローチに熱心です。しかし、自動運転やリアルタイムの操作代行といったエージェント領域では、数秒の遅れが致命傷になります。開発者にとっては、どれほど賢いモデルであってもリアルタイム処理が求められる環境では推論特化型モデルが使い物にならないケースがあることを示す貴重な実例です。

また、業界全体のベンチマーク枯渇問題も浮き彫りにしました。既存のテストが軒並みハイスコアで飽和した結果、レトロゲームに回帰せざるを得なくなっています。しかしKarpathy氏が懸念するように、ゲーム内のスコアと現実世界での有用性は直結しないため、モデルの真の能力をどう測るべきかという根本的な課題は未解決のままです。