HiP3R、階層型ポーズグラフで長尺動画から一貫した3D大空間を再構築

長尺動画から3Dシーンを復元しようとすると、分割処理の境目でカメラ位置がズレていく問題に直面します。既存モデルの多くは動画を短いウィンドウに分割して推定するため、重複する同一フレームに対して別々のカメラ姿勢を出力してしまい、つなぎ合わせるほど歪みが累積していました。

10月21日に発表された「HiP3R」は、階層型ポーズグラフを用いて長尺動画のカメラ軌道を一本に統合する新手法です。

大まかな区間合わせから、1フレーム単位の精緻化へ

HiP3Rは位置合わせを2段階に分けて解決します。

既存の再構築モデルは固定（フリーズ）したまま利用します。まず、重なり合う動画チャンク同士のスケール・回転・位置を、短い時間幅から長い時間幅へのループ制約を使ってチャンク単位で全体調整します。

チャンクの位置関係が定まった後、フレームごとの相対運動制約を使い、重複フレームのカメラ姿勢を単一の軌道へと落とし込みます。これにより、区間同士をつなぐ際の累積誤差を解消します。

なぜ重要か

巨大な長尺用モデルをゼロから再学習させるのではなく、既存の推論パイプラインにそのまま後付けできる設計にした点が賢いアプローチだと考えます。

広域スキャンや空間再現に取り組む開発者にとって、モデルの再学習コストをかけずに手元のアルゴリズムを長尺動画対応へ拡張できる実用性は高いはずです。

ただし、この手法はあくまで外側の姿勢推定を補正する仕組みです。土台となるベースモデル自体の幾何再構築精度が粗い場合、カメラ位置をいくら綺麗に揃えても破綻までは防げない点には留意が必要です。