Google DeepMind、自然言語の指示で3Dゲームを操作する汎用AI「SIMA」を発表

かつてのゲーム AI といえば、チェスや将棋で人間を負かすか、AlphaStar のように超人的な操作精度でプロゲーマーを圧倒する特化型システムが主流でした。しかし、そうしたシステムはルールが少し変わるだけで何もできなくなります。

Google DeepMind は 3 月 13 日、これまでとはまったくアプローチの異なる AI 研究プロジェクト「SIMA（Scalable Instructable Multiworld Agent）」を発表しました。ハイスコアを目指すのではなく、多様な 3D 仮想空間の中で人間の自然言語による指示を理解し、人間のように行動できる汎用エージェントです。

人間と同じ画面を見て、キーボードとマウスで動く

SIMA の最大の特徴は、その接続方法にあります。ゲームの内部ソースコードを読み取ったり、専用に開発された API を経由したりすることはありません。

SIMA が受け取る入力は、プレイヤーが見る画面の映像ピクセルと、人間が与える自然言語の指示の 2 つだけです。そして出力は、一般的なキーボードとマウスの操作信号で行われます。人間がディスプレイの前で遊ぶ環境とまったく同じです。

DeepMind はこの研究のために 8 社のゲーム開発スタジオと提携しました。Hello Games の『No Man’s Sky』や Tuxedo Labs の『Teardown』、Coffee Stain の『Valheim』や『Goat Simulator 3』など、商用 3D ゲーム 9 作品で訓練と検証を実施しています。

さらに、Unity で独自構築した研究用環境「Construction Lab」なども活用し、ブロックを積み上げて造形を行わせるなど、3D 空間での物理的な直感と操作能力を鍛えました。

現在の SIMA は約 600 種類の基本スキルを評価済みです。「左を向く」「ハシゴを登る」「マップを開く」といった、10 秒程度で完了できる短いタスクであれば安定して実行できます。

特化型を上回った「汎用型」の強み

今回の実験で最も注目すべき結果は、複数タイトルで鍛えた汎用エージェントが、1 つのゲームだけを学習した特化型エージェントを明確に上回った点です。

9 つのゲーム環境で幅広く学習させた SIMA は、それぞれのゲーム専用に訓練されたモデルよりも高いパフォーマンスを示しました。

さらに、未学習のまったく新しいゲームに投入した場合でも、そのゲーム専用に訓練されたエージェントとほぼ同等の動作をこなすことが確認されました。特定のゲームの構造を丸暗記したのではなく、3D 空間で行動するための汎用的な原則を身につけ始めていることを示しています。

また、言語指示が行動の決定打になっていることも実証されました。指示を与えない対照実験では、エージェントは採掘などの頻出行動をあてもなく繰り返すだけで、明確な目的地へ進むことはできませんでした。

なぜ重要か

大規模言語モデルは知識や論理的思考に優れていますが、画面の外で実際に手足を動かして行動する能力は備えていませんでした。

SIMA は、言語モデルの知能を 3D 空間内のリアルタイムな行動へと接続する大きな一歩です。物理世界でのロボット制御は破損のリスクやハードウェアの制約が伴いますが、ビデオゲームを訓練場にすることで、極めて安全かつ高速に空間認識と行動の連動を学ばせることができます。

専用 API に依存せず、画面ピクセルとキーボード・マウス入力だけで動く設計を採用した点は極めて合理的です。理論上、世の中に存在するあらゆる PC 向け 3D ゲームをそのまま学習リソースや実用環境に変えられます。

ユーザー視点では、単なる敵 NPC ではなく、自然な言葉で「あそこにある素材を拾ってきて」と頼める頼もしい協力プレイ仲間が現実味を帯びてきました。

課題はタスクの持続時間です。10 秒前後の単発タスクから、「拠点を構築する」といった長期的な戦略立案と細かな段取りの実行へとスケールできるかどうかが、実用的な自律エージェントになれるかの分水嶺となります。