Motion 3-to-4：単眼動画を4D動的オブジェクトに変換、動作の移植にも対応

Motion 3-to-4 は、一般的な単眼カメラの動画から、時間的整合性のある高品質な 4D 動的オブジェクトを直接生成できるオープンソースのフレームワークです。動画から 4D 形状を復元するだけでなく、抽出したキャラクターの動きを別の動画へ移植することもできます。

単一の視点から撮影された動画から 4D を生成する試みは、学習データの少なさと、視点の制約による幾何形状と動きの曖昧さから、これまで極めて難易度が高い領域でした。

静的形状と動作予測を切り離す仕組み

Motion 3-to-4 はこの課題に対し、4D 合成を「静的な 3D 形状生成」と「動作の再構成」という 2 つのステップに分割するアプローチをとりました。

入力動画に加え、オプションとして標準的な 3D 参照メッシュを用いることで、モデルはコンパクトな動作の潜在表現を学習します。

その上で、フレームごとの頂点移動軌道を予測し、時間的に破綻しない完全な 3D 幾何形状を復元します。形状と頂点の運動軌道が分離されているため、抽出したキャラクターの動きを別の動画へ転移させる処理も容易に行えます。

さまざまな動画長に対応する Transformer

動画の長さが変化しても安定して処理できるよう、Motion 3-to-4 には拡張性の高いフレーム単位の Transformer が組み込まれています。これにより、シーケンス長の違いに対しても高い堅牢性を保てます。

既存の標準ベンチマークに加え、正確な正解幾何データを備えた新規データセット上での評価でも、従来手法を上回る再現精度と空間的一貫性を確認したとしています。

現在、論文およびプロジェクトページが公開されており、技術的な詳細や出力結果を確認できます。

なぜ重要か

従来、高品質な 4D キャプチャや動的メッシュの取得には、マルチカメラシステムや専門的なモーションキャプチャ設備が必須でした。Motion 3-to-4 は、日常的な単眼動画とフィードフォワードネットワークだけで安定したメッシュ変形を導出できることを示しています。

3D アニメーターやゲーム開発者にとっての最大のメリットは、形状とモーションが分離されている点です。手作業でリギングを組まなくても、既存の動画から動きを抽出して別モデルへ流用できるため、アセット制作の工数を大幅に圧縮できる可能性があります。

遮蔽された背面などのディテール補完には依然として課題が残るものの、キャラクターアニメーションのプロトタイピングツールとして試す価値は十分にあります。