AI動画から一貫した3D空間を再構築:フレームの矛盾を補正する新手法が登場
研究チームがAI生成動画から一貫した3D空間を復元する新手法「World Reconstruction from Inconsistent Views」を発表した。動画特有のフレーム間の歪みや矛盾を非剛体位置合わせで補正し、1本の動画からでも精細な3Dシーンを生成できる。既存の動画生成モデルをそのまま実用的な3D空間構築ツールに変えられる点が画期的だ。
研究チームがAI生成動画から一貫した3D空間を復元する新手法「World Reconstruction from Inconsistent Views」を発表した。動画特有のフレーム間の歪みや矛盾を非剛体位置合わせで補正し、1本の動画からでも精細な3Dシーンを生成できる。既存の動画生成モデルをそのまま実用的な3D空間構築ツールに変えられる点が画期的だ。
Google DeepMind は世界モデル Genie 3 を活用した実験的プロトタイプ「Project Genie」を公開しました。テキストや画像から物理法則を反映した操作可能な仮想空間をリアルタイムに生成できます。現在は米国向けの Google AI Ultra 登録者限定で、生成時間は最大 60 秒に制限されています。
Google DeepMindはGeminiを中核に据えた3D仮想環境向けエージェント「SIMA 2」を発表しました。画面を見てキーボードとマウスで操作するだけでなく、目的を推論して言語で説明し、未経験の世界でも自己改善しながらプレイできます。現在は研究者向けに限定プレビュー公開中です。
AI各社が提唱する「世界モデル」の実態の違いを解説する分析が公開されました。李飛飛率いるWorld LabsのMarbleは3Dガウススプラッティング資産生成、ルカン氏は行動計画用の内部潜在表現、DeepMindはGenie 3やSIMA 2によるインタラクティブ動画シミュレータを指向しており、同じ言葉でもアプローチは大きく分かれています。
Skyworkはリアルタイムで長時間の対話に対応した世界モデル「Matrix-Game 2.0」を公開した。先週発表されたDeepMindのGenie 3が非公開だったのに対し、本作は25FPSでの描画と数分間の連続操作に対応し、完全なオープンソースとして提供される。
Google DeepMindは汎用世界モデル「Genie 3」を発表した。テキスト入力から720p・24fpsでリアルタイムに歩き回れる環境を自動生成し、数分間にわたり物理的一貫性を保てる。テキストで天候などを途中変更することも可能で、現在は一部の研究者向けに限定プレビューとして提供されている。