単眼動画から動的4Dシーンを生成する「Lift4D」発表、死角の補完にも対応

スマホで走り回るペットを撮影しても、動画として記録できるのはカメラを向けた片側だけだ。一時停止して被写体の背後に回り込み、反対側で体がどう動いていたかを確認することはできない。

だが、そんな制約を打ち破る技術が登場した。6月22日、研究チームが発表した「Lift4D」は、ごく普通の単眼2D動画から、動きや変形まで含めた完全な4Dシーンを丸ごと復元してしまうフレームワークだ。

ここでいう4Dとは、3次元の形状データに時間軸を加えたものを指す。

単眼カメラの死角をどう補うか

サイが歩く動画を見れば、人間は映っていない反対側の胴体や足の動きを頭の中で自然に補完できる。

しかし、コンピュータにとって単一視点からの4D再構築は極めて困難な課題だった。4Dの学習データ自体が世界的に不足しているうえ、既存の画像から3Dを作るモデルを1コマずつ適用すると、フレーム間で形状が激しく破綻してしまうからだ。

Lift4Dはこの問題を解消するため、潜在情報を時間順に引き継ぐ「因果的潜在条件付け」を採用した。

これにより、既存の単眼3D推定モデルを使いながらも、各フレーム間でブレのない滑らかで一貫した形状を生成できるようにした。

変形3Dガウスと拡散モデルの連携

土台ができると、システムはスパースな制御ノードで駆動する変形可能な「3D Gaussian Splatting」を初期化する。

次に、入力動画に忠実に追従させる最適化を行うわけだが、野生動物などの実世界動画には手前の足で後ろ足が隠れるといった遮蔽がつきものだ。

そこでLift4Dは、深度情報を手がかりに遮蔽領域を特定し、見えている部分と色合いを調和させる遮蔽配慮型のレンダリング監督を導入した。

さらに、カメラに一度も映らなかった死角に対しては、画像拡散モデルの事前知識をフル活用して自然なテクスチャと外観を描き出す。

なぜ重要か

従来の動的3Dキャプチャは、被写体を無数のカメラで囲む特殊なスタジオ撮影が前提だった。

Lift4Dのアプローチが実用化に向かえば、クリエイターやゲーム開発者は、日常的な手持ちカメラの映像からそのまま動く3Dアセットを抽出できるようになる。

乏しい4Dデータセットを一から作るのではなく、既存の単眼3Dモデルと画像生成拡散モデルの力を組み合わせて最適化する設計は、非常にスマートだと評価できる。

一方で、動画ごとに繰り返し計算を行うテスト時最適化の仕組みであるため、処理時間とマシン負荷はそれなりにかかるはずだ。

それでも、単一アングルの日常動画から360度自由視点で見回せる動的シーンを作れる意義は大きく、映像制作のハードルを一段引き下げる一手になりそうだ。