1本の動画から物理シミュレーション対応の4Dシーンを再構築する「OVOW」公開

OVOW（One Video, One World）は、追加学習なしで単眼動画や1枚の画像から、物理エンジンで直接扱える4Dメッシュアセットを再構築するオープンソースシステムです。

従来の単眼動画からの3D復元では、シーン全体が一体化したメッシュになったり、編集できないニューラル表現になりがちでした。OVOWはシーン内の各物体を独立した水密メッシュとして分離し、位置姿勢の軌道と変形アニメーションを個別に復元して、アニメーション付きGLBや物理シミュレータ向けURDFとして出力します。

動画を物理世界へ分解する仕組み

OVOWは単一の巨大モデルを新規に学習するのではなく、既存の基盤モデルを組み合わせた4段階のパイプラインを採用しています。

まずシーンの理解とセグメンテーションです。Qwen3-VLが各物体を認識して静止・剛体・変形のいずれかに分類し、SAM 3がフレームごとのマスクを生成します。

次にメッシュの生成です。剛体や静止物にはFLUX.2で見えない遮蔽部分を補完した上でHi3DGenによる3D化を行い、変形する物体にはMotion324とHunyuanを用いてトポロジーの一貫した動的メッシュを生成します。スケール復元にはVGGTが使われます。

最後に姿勢最適化と物理アセンブリです。RoMa v2とFoundationPoseを組み合わせた反復処理により、全体の6自由度軌道と局所的な頂点変形を分離して復元します。さらに地面の推定や接触判定を行うことで、物体が重力下で正しく接地・衝突するシーンを完成させます。

動作環境とライセンスの制約

実行ハードウェアの要求スペックは高めです。Linux環境とCUDA 12.1+、約120GBのストレージに加え、40GB以上のVRAMを積んだNVIDIA GPUが推奨されています。

108フレーム程度の動画を処理するのに要する時間は約19〜22分です。SAM 3やFoundationPose、RoMa v2などの重量級モデルは常駐サーバとして動かせるため、バッチ処理時にはモデルの読み込みを初回のみに抑えられます。

コードはGitHubで入手可能です。OVOW自体のコードはMITライセンスですが、同梱されているNVIDIA FoundationPoseやSpaTrackerV2、Motion324などに非商用ライセンスが含まれるため、研究目的の非商用利用に限定されています。

なぜ重要か

ロボティクスや具身AI（Embodied AI）、物理シミュレーションを研究している人にとって、OVOWは非常に実用的なツールです。端から端までブラックボックスの4Dモデルを学習しなくても、既存の強力なモデルを組み合わせるだけで、実世界の動画から即座にシミュレーション可能なアセットを取り出せることを証明しています。

一方で、40GB以上のVRAMが必要な点や複数の環境構築の手間、そして非商用制限があるため、すぐに商用ゲームや制作ツールへ組み込めるわけではありません。現時点では、次世代のシミュレーションデータ生成パイプラインの可能性を示す強力なリファレンスとして注目すべき存在です。