Google DeepMindが「Genie 3」発表：言葉からリアルタイムに操作可能な世界を生成

テキストを1行入力するだけで、静止画や動画ではなく、その場で自由に歩き回れる3D空間が生成される時代が近づいています。

Google DeepMindは8月5日、汎用ワールドモデルの最新版となるGenie 3を発表しました。テキストプロンプトからリアルタイムに操作可能な3D環境を生成し、720pの解像度かつ毎秒24フレームで数分間にわたり一貫性を保ちながら探索できます。

動画の中に入り込んで操縦する

わずか10秒から20秒の生成が限界だった前作Genie 2と比べ、Genie 3の進化は劇的です。モデルが過去の生成履歴を記憶しており、約1分前に通り過ぎた場所へ引き返しても、景観の破綻を起こさずに元の状態を維持できます。

ゲームエンジンのような物理演算プログラムや明示的な3Dメッシュは使われていません。DeepMindのリサーチディレクターであるShlomi Fruchter氏によると、Genie 3はユーザーの操作と過去の映像を基に1フレームずつ予測する自己回帰モデルであり、物理法則は学習を通じて創発的に獲得されたものだといいます。

さらに、探索中にテキストで天候を変えたり新しい物体を出現させたりできるプロンプタブル・ワールド・イベントにも対応しました。研究者のJakob Bauer氏は、動画生成モデルVeo 3が作ったドローン空撮映像の途中から操作を引き継ぎ、そのままインタラクティブに探索を続けるデモを公開しています。

ロボット学習の新たな訓練場

DeepMindがワールドモデルに注力する最大の目的は、ゲーム開発ではなく汎用AIエージェントの育成です。

研究チームは自社の3D仮想環境向けエージェントSIMAをGenie 3が生成した倉庫空間に投入しました。エージェントがゴミ圧縮機やフォークリフトに向かって移動する指示を受けた際、Genie 3はエージェントの意図を知らないまま操作入力に応じて未来のフレームを一貫してシミュレートし、目的の達成を支えました。

ただし、課題も少なくありません。スキーヤーの滑走デモでは雪のリアルな飛び散りが再現できておらず、エージェントが取れる行動の種類もまだ限定的です。複数エージェントが関わる相互作用や正確な現実の地理再現は難しく、数分という接続時間は本格的なAI訓練に求められる数時間の水準には届いていません。

なぜ重要か

私たちは、Genie 3の真の価値はワールドモデルを受動的な動画生成から「24fpsで動く対話型シミュレータ」へと引き上げた点にあると考えます。事前定義された物理ルールなしに、ニューラルネットワークの自己回帰だけで破綻の少ない空間を数分間維持できることを実証しました。

ロボティクスや自動運転の領域にとって、現実世界でのデータ収集はコストと安全面のリスクが常に付きまといます。もしプロンプトひとつで危険な事故シナリオや極端な環境を無限に生成し、エージェントを試行錯誤させられるようになれば、身体性を持つAIの学習速度は飛躍的に跳ね上がるはずです。

もっとも、現在は一部の研究者やクリエイターに限定公開されている段階であり、数分間の維持時間では実用的な訓練環境として即戦力にはなりません。それでも、AIが物理世界の直感を画面の中に立ち上げられることを示した意義は極めて大きく、今後の展開を注視する価値は十分にあります。