AI動画から一貫した3D空間を再構築：フレームの矛盾を補正する新手法が登場

最新のAI動画生成モデルは驚くほど高品質な映像を出力しますが、それらのフレームを3D空間として再構築しようとすると破綻します。フレームが進むにつれて物体の形が微妙に変わり、幾何学的な矛盾が生じるため、従来の3D復元技術ではゴーストや破片だらけのシーンになってしまいます。

研究チームはこの課題を解決する新手法「World Reconstruction from Inconsistent Views」を発表しました。AI動画特有の歪みや矛盾をアルゴリズム側で吸収し、探索可能な高品質の3Dシーンへ変換するフレームワークです。

矛盾するフレームを非剛体で位置合わせ

動画拡散モデルが生成する映像は、見た目は自然でも各フレームが厳密な3次元的一貫性を保っているわけではありません。

本手法は3段階のプロセスでこの問題を処理します。まず幾何基盤モデルを用いて各フレームの深度とカメラ位置を推定し、ピクセル単位の点群に変換します。この初期段階では、動画内の矛盾によりサーフェスが重なり合わずバラバラに散らばっています。

最大のポイントは第2段階の非剛体フレーム・ツー・モデル反復最近接点（ICP）アルゴリズムです。疎な対応関係と大域的最適化を組み合わせることで、各フレームの変形を統一された座標系へと徐々に引き戻し、矛盾のないシャープな点群形状へと整えます。

最後に、この点群を初期値として逆変形レンダリング損失を伴う2D Gaussian Splatting（2DGS）の最適化を実行します。公開されているインタラクティブビューアでは、ブラウザ表示向けに3DGSへ変換し、.sog形式で軽量圧縮されたシーンをキーボード操作で自由に歩き回ることができます。

1本の動画から対応、動画モデルを選ばない汎用性

実用面での大きな利点は入力データの敷居が低いことです。複雑なマルチアングル撮影は不要で、単一の生成動画から抽出した50枚のフレーム画像だけでも十分に一貫した3Dシーンを再構築できます。

360度の大規模空間を探索したい場合も、WorldExplorerのようなプログレッシブ拡張手法と組み合わせることで、SEVAで生成された最大32本の動画シーケンスを破綻なく統合できます。

さらに、本手法は特定の生成モデルに依存しません。オープンモデルのWan-2.2をはじめ、カメラ制御を備えたViewCrafter、Gen3C、SEVA、Voyager、さらにはGenie 3やHY-WorldPlayのような自己回帰型ワールドモデルまで幅広く検証されています。どの動画AIを使っても、後処理で綺麗な3Dシーンへ仕立て上げることが可能です。

なぜ重要か

ゲーム開発者や3Dクリエイターにとって、制作ワークフローを根本から変える可能性を秘めています。従来のようにゼロから高コストなネイティブ3D生成AIを学習させなくても、手元の動画生成AIにプロンプトを打ち込んでカメラワーク動画を作り、それを3Dアセットへ変換するというルートが現実味を帯びてきました。

業界全体で見ても、3D空間生成のアプローチを大きく後押しする動きです。動画生成モデルはすでに膨大なWebデータから物理世界の動きを学習しています。動画モデル側に完全な3D整合性を求めるのではなく、後段の幾何最適化で歪みを補正するという割り切りは非常に現実的です。

私たちは、このアプローチが極めてクレバーだと評価しています。動画モデルの表現力をそのまま活かしつつ、古典的なCV幾何処理をハイブリッドに融合させることで、生成AI動画とインタラクティブな仮想空間の間の溝を一気に埋める成果と言えます。