動画を4D点群に変換して再撮影できる「Vista4D」登場　自由なカメラワークや編集に対応

動画を編集している最中に、「もっと回り込むアングルで撮っておけばよかった」と後悔した経験があるクリエイターは少なくないはずです。これまでは、撮り直すには現場に戻るしかありませんでした。

研究チームは通常の平面動画を時間軸付きの4D点群へと変換する新フレームワーク「Vista4D」を発表しました。撮影済みの動画を、カメラワークの再設定や被写体の差し替えが可能な仮想スタジオへと作り変える技術です。

4D点群による自由なカメラワークの再構築

動く被写体を含む映像を別アングルから再撮影する試みはこれまでもありましたが、物体の動きに伴う深度推定の破綻や、カメラを大きく動かした際の外観の崩れが大きな壁となっていました。

Vista4Dは、静的ピクセルのセグメンテーションと4D復元を組み合わせ、入力動画と目的のカメラ軌道を4D点群上にしっかりと定着させるアプローチを採用しました。多視点動的データで学習させることで、実環境での点群ノイズにも強い耐性を持たせています。

Recam MasterやTrajectory Crafterといった既存の4D生成手法と比べても、被写体の一貫性やディテールの保持性能が際立っており、滑らかなズーム視差を伴う大胆なカメラワークでも破綻しにくいのが強みです。

3D空間上でのオブジェクト編集とシーン合成

映像が時間軸を持つ3D点群として保持されているため、編集作業も空間上で行えます。

元の動画に車が1台しか走っていなくても、点群データに別の車を追加して2台が走る映像をレンダリングできます。手前に映り込んだ邪魔な通行人の点群だけをきれいに消去し、最初から誰もいなかったかのような映像を出力することも可能です。さらに、別の動画から抽出したサイやベンチに座る夫婦の動的点群を、元のシーンへ自然に合成することもできます。

固定カメラで見えていなかった部屋の死角については、AIがある程度推測して補完します。部屋全体を映した別の参照動画を追加で入力すれば、点群データが正確に更新され、空間全体をぐるりと見渡す周回ショットまで生成可能です。コードとモデルはすでに公開されています。

なぜ重要か

個人クリエイターや小規模な映像プロダクションにとって、撮影後のリテイク負担を劇的に減らすツールになり得ます。現場で撮り損ねたカメラワークを後から自在に足せるだけでなく、平面の動画素材をそのまま編集可能な3Dアセットへと昇華させられるからです。

技術面で見ても、すべてをブラックボックスの拡散モデルに任せるのではなく、明示的な4D点群という幾何学的な骨格を挟む設計が非常に合理的です。これにより、純粋な生成モデルが苦手とする厳密なカメラ制御と物理的な整合性を両立させています。

極端な視点移動時のライティングの馴染みや境界部分の解像度など、商業映像として完全に実用化するにはまだ課題も残ります。しかし、動画を「再生して楽しむもの」から「空間として再編集するもの」へと変える大きな一歩であることは間違いありません。