Pure：普通の動画から動的な3D空間を丸ごと再構築するオープンソースモデル

Pureは、手持ちの日常的な動画や連続写真から動的な3D空間環境を丸ごと再構築できる、新登場のオープンソースプロジェクトだ。高価なLiDARスキャンや正解の3Dアノテーションデータは一切必要ない。

どうやって動いているのか

従来の3D再構築モデルは、収集が非常に難しい3Dラベル付きデータセットに依存していた。Pureはその常識を覆し、既存のフィードフォワード型3D再構築モデル（Pi3、DA3、VGGTなど）を、アノテーションなしの一般動画を使って事後学習（Post-training）で強化する。

モデルは動画の中から単眼深度や動的マスク、フレーム間の幾何学的マッチングを自動で抽出する。つまり、動画そのものの連続的な動きを手がかりにして、動的なシーンの幾何構造や深度の整合性を自律的に改善していく仕組みだ。

公開されたデモでは、2,000フレームに及ぶバイク走行動画を128フレームのクリップに分割して処理。画面左下に俯瞰の3D点群マップがリアルタイム風に広がっていき、走行ルート全体の立体空間を見事に描き出している。

導入手順と現在の制約

実用性の高さも魅力だ。全体のデータ容量はわずか13.2GBに収まっており、コードやモデルの重みだけでなく、訓練スクリプトまで完全に公開されている。プロジェクトページ上部のCodeボタンからローカル環境へダウンロードし、手順通りにセットアップすれば手元のPCで動かせる。

ただし、割り切るべき制約もある。今回の処理はオフラインでの時間蓄積によるものであり、カメラ映像をその場で即座に変換するリアルタイム因果再構築ではない。

また、激しく動く被写体にはゴーストが残る場合があり、デモでも15箇所の接合面のうち7箇所に幾何学的なシームが確認されている。映像制作の最終成果物のような精度をそのまま期待するのはまだ早い。

なぜ重要か

これまで動的3D再構築の進化を阻んできた最大の壁は、3D正解データの圧倒的な不足だった。Pureは、ネット上に溢れる未加工の動画データが、3Dモデルの幾何認識精度を跳ね上げる上質な教師素材になり得ることを証明した。

ロボティクスやゲーム開発、空間コンピューティングに携わる開発者にとって、試す価値は十分にある。13.2GBという軽さで訓練スクリプトまで揃っているため、手持ちの独自動画で追加調整するハードルも極めて低い。制約はあるものの、低コストな空間アセット生成に向けた確かな前進だ。