MoVerse：1枚の画像から360°世界を生成、RTX 4090で8fpsの対話探索を実現

スマートフォンのカメラで撮った1枚の写真。今の動画生成AIに渡せば数秒のカメラワーク映像は作ってくれますが、私たちがその中を自由に歩き回ることはできませんでした。

6月11日に発表された世界モデル「MoVerse」は、その限界を打ち破る試みです。視野の狭い通常の写真1枚から、リアルタイムでインタラクティブに探索できる360度の3D世界を構築。しかも単一の民生用GPUであるNVIDIA RTX 4090上で、毎秒8フレーム（8fps）のリアルタイム動作を実現しました。

空間の記憶と映像レンダリングを完全に分ける

1枚の静止画から探索可能な世界を作るのが難しい理由は明快です。元画像には周囲の風景情報がほとんど写っておらず、カメラを振り返ったときに空間の整合性を保ちながら遅延なく映像を描画しなければならないからです。

MoVerseはこの難題を、空間の構築と映像レンダリングを明確に切り離すことで解決しました。

まず入力された通常写真を、トポロジー対応の拡散モデルによって重力方向に揃った360度パノラマへと拡張。3次元処理を始める前に周囲の視野の欠落を埋めてしまいます。

次に、そのパノラマを「3D Gaussian scaffold」と呼ばれる3次元ガウシアンの足場へと変換します。これがシーン全体の永続的な空間メモリとなり、どこを向いても破綻しない幾何構造を支えます。

最後のレンダリング工程では、双方向拡散モデルを蒸留した因果型自己回帰モデルを採用。ユーザーがコントローラーなどで動かしたカメラ軌道に沿って、低遅延で連続した映像をストリーミング生成します。

対応する画像スタイルは幅広く、リアルな実写風景だけでなく、カートゥーン調の3D、油絵風、スタジオジブリ風のイラストからも破綻なく空間を立ち上げられます。

民生用GPUで動くが、画質はまだ粗い

RTX 4090単体で8fpsという数字は、巨大なデータセンターを借りずとも手元のハイエンドPCで探索を体験できることを意味します。

ただし、現段階での妥協点もはっきりしています。

公開されているデモ映像を見ると、解像度は低めで、輪郭やテクスチャにはぼやけが目立ちます。映像としての美しさを追求するよりも、まずは空間の整合性とリアルタイムな操作性を優先した設計だからです。

なお、プロジェクトページにはすでにコード用ボタンが用意されています。現在は企業内のコンプライアンス審査中とのことで、審査に約1カ月を要したのち、モデルとコード一式が一般公開される予定です。

なぜ重要か

これまでの動画生成モデルは、綺麗な映像を鑑賞するための受動的なメディアにとどまっていました。

MoVerseが示したのは、実用的なインタラクティブ世界モデルを成立させるための賢い妥協点です。すべてをニューラルネットワーク任せにするのではなく、3Dガウシアンという明示的な幾何構造を空間メモリとして置き、その上を蒸留型ビデオモデルでリアルタイムに描画していくアプローチは極めて理にかなっています。

ゲーム開発者やプロトタイパーにとっては、コンセプトアート1枚からプレイアブルな空間試作がローカル環境で作れる未来が現実味を帯びてきました。

画質が粗く8fpsにとどまっている今試すべきかといえば、実制作の最終成果物にはまだ使えません。しかし、クラウドに依存せず手元のマシンで操作可能な世界モデルを立ち上げたという点で、業界の開発方針に一石を投じる確かな前進だと私たちは評価しています。