Googleが新AI「GameNGen」発表：初代『Doom』をリアルタイム生成

テクノロジー界隈には「すべてのデバイスはDoomを動かせる」という定番のジョークがあります。電卓から妊娠検査薬まで、あらゆる画面付き機器に1993年の名作FPSが移植されてきました。

しかし、Googleとテルアビブ大学の研究チームは全く異なるアプローチを取りました。移植コードを1行も書かず、AIにリアルタイムでゲーム画面を「妄想」させてプレイ可能にしたのです。

発表された新AIシステム「GameNGen」は、単一のTPU上で毎秒20フレーム以上の速度を維持し、対話形式でDoomをシミュレートします。

コードを書かず、次の一コマを予測する

従来のゲームは、ゲームエンジンが物理演算や当たり判定を計算し、画面にポリゴンを描画します。GameNGenはこの仕組みを完全に覆し、ゲーム進行を「次のフレーム画像の予測」へと置き換えました。

中核となっているのは、画像生成AIであるStable Diffusion 1.4の改良版です。開発は2段階のプロセスで行われました。

まず強化学習エージェントにDoomをプレイさせ、大量のプレイ動画を記録してトレーニングデータを作成しました。

次に、その映像とプレイヤーの入力操作をもとに拡散モデルを訓練しました。プレイヤーがキーを押すと、モデルは過去のフレームと入力から次の瞬間の画面をリアルタイムで生成します。

その再現性は極めて高く、10人の評価者を対象としたブラインドテストでは、短時間の映像クリップ（1.6秒および3.2秒）において本物のゲーム画面を正しく見分けられた確率は58〜60パーセントにとどまりました。

Stability AIの研究ディレクターであるTanishq Mathew Abraham氏は、拡散モデルでもDoomが動くことが判明したとコメント。アプリ開発者のNick Dobos氏も、AIがピクセルを考えてくれるなら手動で複雑なルールを書く必要がどこにあるのかと驚きを示しています。

わずか3秒の記憶と残るノイズ

しかし、拡散モデルによるリアルタイムシミュレーションには特有の難点があります。前のフレームをもとに次のフレームを生成し続けると、わずかな誤差が蓄積して画面が崩壊していく自律回帰のドリフト問題です。

研究チームは、訓練データに意図的にランダムなノイズを加え、それを除去するよう学習させることで、長時間にわたる描画崩れの抑制に成功しました。

それでも課題は山積みです。Stable Diffusion 1.4のオートエンコーダーが8×8ピクセルを4チャンネルに圧縮するため、画面下部のHUD（ヘルス表示など）のような細かいディテールに乱れが生じます。

さらに、モデルが保持できる記憶は過去3秒間のみです。プレイヤーが少し前にいた部屋に戻っても、過去の正確な状態を覚えているわけではなく、確率的にそれらしい状態をでっち上げているにすぎません。

こうした研究は、2018年のWorld Modelsや2020年のGameGAN、今年のGoogle GenieやDIAMOND、さらにはMinecraftをシミュレートしたOpenAIのSoraといった「世界モデル」の流れを汲んでいます。NVIDIAのJensen Huang CEOも今年3月、5〜10年以内にゲームの大部分がAIによってリアルタイム生成されると予測していました。

なぜ重要か

私たちは、GameNGenの価値は30年前のレトロゲームを再現したことではなく、ソフトウェア制作の前提を揺るがす概念実証を示した点にあると考えています。

現時点では、ユーザーや開発者が今すぐ実務に使える段階ではありません。1993年のゲームをわずか20 fpsで動かすために単一のTPUを専有するのはコスト面で非現実的ですし、既存タイトルの模倣にとどまっています。

ただ、アプローチ自体は極めてスマートです。動画生成の最大の壁だった累積誤差をノイズ学習で克服し、拡散モデルがリアルタイム対話エンジンとして機能することを証明してみせました。

最大の懸念は、厳密な論理性の欠落です。ゲームは一貫したフラグ管理やインベントリといった厳密なルールで成り立っています。記憶が3秒しか持たない確率モデルでは、複雑なゲームシステムを成立させるのは困難に見えます。

それでもゲーム産業に与えるインパクトは無視できません。論文の著者たちが指摘するように、ゲームは「人間が書くコード」から「ニューラルモデルの重み」へと移行する可能性があります。いずれプログラミングなしに、数枚のコンセプトアートや文章指示からリアルタイムで動く世界が生成される未来を、本作は先取りしています。