DeepMindがGenie 2を発表：画像1枚から操作可能な3D世界を生成

1枚のイラストや写真を入力するだけで、キーボードとマウスを使ってその世界の中を自由に歩き回れる。そんなSFのような仕組みを、Google DeepMindが現実のものにしつつあります。

Google DeepMindは、1枚のプロンプト画像から操作可能な3D仮想世界を生成する大規模な基盤世界モデル、Genie 2を発表しました。プレイヤーやAIエージェントのキーボードおよびマウス操作を受け付け、次の行動に応じた映像をリアルタイムにシミュレーションします。

2Dから3Dへ、物理法則まで学習した世界モデル

今年初めに発表されたGenie 1は2Dの横スクロール世界が中心でしたが、Genie 2はリッチな3D空間へと大きく進化しました。一人称視点、見下ろし型のアイソメトリック視点、三人称のドライビング視点など、多彩なカメラワークを自律的に構築できます。

アーキテクチャには、大規模な動画データセットで学習した自己回帰型の潜在拡散モデルが採用されています。映像フレームをオートエンコーダで潜在空間に変換し、言語モデルのような因果マスクを持つ大規模Transformerダイナミクスモデルに入力して、1フレームずつ先を予測していく仕組みです。

生成される世界は単なる映像ではなく、相互作用や物理法則を直感的に再現します。ドアを開ける、風船を割る、爆発するタルを撃つといった動作に加え、重力、水流、煙、指向性ライト、反射光などの現象も破綻なく描画されます。

特に注目されるのが長期記憶の能力です。視界から外れたオブジェクトを記憶しており、振り返った際に以前と同じ状態で正しく再描画します。一貫性を保てる時間は最長で1分間、多くのデモでは10秒から20秒程度維持できるとしています。

入力にはImagen 3で作成した画像だけでなく、現実の写真や手描きのコンセプトアートも使えます。同一の開始フレームから、プレイヤーの入力次第でまったく異なる展開を分岐生成できるのも特徴です。

DeepMindはすでに、自然言語指示でゲームを遊ぶ汎用AIエージェント「SIMA」の訓練や評価環境としてGenie 2を活用しています。プロンプトから生成した未学習の3D空間内で、SIMAに特定の行動を取らせる実験に成功しています。

なぜ重要か

Genie 2は、ゲーム開発の現場だけでなく、身体性を持つAIエージェントの育成手法を根底から変える可能性を秘めています。これまで汎用ロボットやゲームエージェントの学習には、人間が莫大なコストをかけてUnityなどで仮想環境を作り込む必要がありました。

この世界モデルを使えば、テキストから無限に新しい訓練環境を自動生成し、AIに空間認識や物理法則を学ばせることができます。未知の環境に対する適応能力を安全に鍛えるための基盤として、極めて賢いアプローチだと私たちは評価しています。

クリエイターにとっても、コンセプトアートを即座に動かして空間の感触を確かめられるプレビューツールとしての価値は大きいでしょう。

ただし、現時点でゲームエンジンを完全に置き換えるものではありません。一貫性が保てる時間が最大でも1分程度である点や、長期的なルール管理には依然として課題が残ります。それでも、テキスト生成や静止画生成の先にある「動的世界のシミュレーション」という新しい競争軸において、Google DeepMindが一歩先へ抜け出したことは間違いありません。