動画から歩き回れる3D世界を生成　「INSPATIO-WORLD」公開、RTX 4090でも動作

動画を視聴するとき、視点は常にカメラマンが撮影したアングルに固定されているのが当たり前だった。

最近の動画生成AIでも、その本質は次のピクセルを1フレームずつ予測しているに過ぎない。カメラを大きく振ったり視点を戻したりすると、被写体の形が崩れたり不自然に消え去ったりするトラブルが絶えなかった。

研究チームは単一の参考動画からリアルタイムに4D空間を構築できるシミュレータ「INSPATIO-WORLD」のコードをオープンソースで公開した。1本の通常動画を、実際に中を歩き回れるインタラクティブな3D世界へと変換できる。

ピクセルを予想するのではなく、空間をシミュレートする

INSPATIO-WORLDが破綻しない理由は、動画の裏側で持続的な空間シミュレーションを行っているからだ。

このモデルの中核には、STAR（時空間自己回帰）アーキテクチャが採用されている。処理は主に2つのモジュールが担う。

1つ目は「暗黙的時空間キャッシュ」で、過去の観測や基準フレームの情報を潜在表現として集約し、長時間移動しても空間の整合性を維持する。2つ目は「明示的空間制約モジュール」で、幾何構造を固定しつつ、ユーザーの操作を物理的に自然なカメラ軌道へ変換する。

そのため、一度視線を別の方向に向けてから戻しても、元のオブジェクトがそのままそこに残り続ける。一時停止や巻き戻し、スロー再生も可能だ。さらに実世界のデータ分布をガイドにする蒸留技術JDMDを導入し、合成データ依存による画質劣化を抑えている。

RTX 4090単体で10fpsを叩き出す軽量設計

どれほど高度な世界モデルであっても、巨大なクラスタでしか動かなければ実用性は限られる。INSPATIO-WORLDの最大の強みはその効率性にある。

エンタープライズ向けのHシリーズGPU環境では毎秒24フレームのリアルタイム動作を実現し、民生用のRTX 4090単体でも毎秒10フレームで駆動する。

同種のインタラクティブ世界モデルの中でパラメータ数は最小クラスでありながら、「WorldScore-Dynamic」ベンチマークで首位を獲得した。コードとローカル環境向けの導入手順はすでに公開されており、環境さえあればすぐに手元で試すことができる。

なぜ重要か

世界モデルという概念が注目される一方で、これまでは計算コストの高さとインタラクティブ性の欠如が大きな壁になっていた。

INSPATIO-WORLDの賢い点は、やみくもにパラメータを巨大化させるのではなく、キャッシュと幾何制約によって計算効率を極限まで引き上げた点にある。コンシューマー向けGPUであるRTX 4090でインタラクティブに動く水準まで落とし込んだ意義は大きい。

この技術は、自動運転やロボット制御におけるシミュレーション環境の構築に直結する。既存の車載カメラや固定カメラの動画を、そのままインタラクティブな訓練用空間へと変換できるからだ。ゲーム制作者にとっても、実写映像から手軽にプレイアブルなシーンを作り出す足がかりになる。

もっとも、RTX 4090での10fpsは動作確認には十分だが、本格的なゲーム体験としてはまだ滑らかとは言えない。元の動画に映っていない死角へと深く進んだ際の破綻も今後の課題だが、動画を歩き回れる世界に変えるアプローチとして、極めて実用的な一歩を踏み出したと言える。