「GeoWeaver」登場：通常の長尺動画からズレのない一貫した3D空間を再構築

スマホで撮影した数秒の動画から綺麗な3Dモデルを作るのは、今のAIならそれほど難しくありません。しかし、カメラを回したまま部屋中を2〜3分歩き回った途端、話は一気に難しくなります。

AIは歩くうちにスケール感を見失います。最初に測った机のサイズが別の部屋から戻ると狂っていたり、推定されたカメラの軌跡が歪んでしまったりして、出来上がった3D世界はズレとゴーストだらけになってしまいます。

研究チームはこうした長尺動画の課題を解決する3D再構築フレームワーク「GeoWeaver」の論文を発表しました。複数の長尺ベンチマークにおいて、既存モデルを抑えて最低水準の平均誤差を記録しています。

動画を分割し、歪みなく編み直す

数分間に及ぶ動画を丸ごとニューラルネットワークに流し込んで一気に処理しようとすると、GPUメモリがあっという間にパンクします。小分けにして処理する手法もありましたが、ブロックごとに縮尺が食い違い、綺麗につながらないのが長年の壁でした。

GeoWeaverのアプローチは、名前の通り巧みに空間を編み合わせる2段構えです。

まず幾何プライヤモデルを使い、長尺動画を小さなチャンクに分割します。それぞれの区間で深度や信頼度、カメラパラメータを個別に予測し、局所的な形状精度をしっかり担保します。

その後の核となるのが、テスト時適応と呼ばれる最適化ステップです。各区間を順次初期化して大域的な位置合わせを行い、粗い段階から精密な段階へとカメラ姿勢や深度の補正、内部パラメータを微調整していきます。

隣接フレームだけでなく、重複する画角や長距離の対応点マッチングを組み合わせ、2Dの再投影残差と3Dの一貫性を同時に最適化します。一周回って元の場所に戻ってきても、空間のスケールが破綻しません。

検証実験では、この最適化手順を別の幾何モデルに差し替えても軌跡の推定精度が向上しており、特定の事前モデルに縛られない汎用性の高さが確認されています。

なぜ重要か

長尺動画のドリフト問題を克服することは、3D空間キャプチャを日常ツールにするための必須条件です。

将来的にこの仕組みが実用化されれば、ゲーム制作者やVRクリエイター、不動産業界の人たちが、高価なLiDAR機材なしでスマホ片手に歩くだけで、歪みのない忠実な3D空間アセットを書き出せるようになります。

業界全体にとっても、極めて賢いエンジニアリングの示唆を含んでいます。長大な動画コンテキストを巨大な単一モデルで強引に処理しようとすると膨大な計算資源が必要になりますが、GeoWeaverのように分割処理とテスト時の幾何学的すり合わせを組み合わせることで、メモリ消費を抑えつつ最高水準の精度が出せることを示しました。

ただし、現時点では技術論文が公開された段階であり、オープンソースのコードやモデルの重みはまだ手に入りません。テスト時適応を行うため、推論時に一定の計算コストと時間がかかる点も実用上のトレードオフと言えます。まずは今後のコード公開と、実際のラフな手ブレ動画でどこまで耐えられるかを注視したいところです。