写真から探検可能な3D空間を構築する「InfiniSplat v2」がオープンソース化

InfiniSplat v2は、複数枚の写真や動画から自由に動き回れる3D空間を一瞬で構築できる、オープンソースのフィードフォワード型3D再構築モデルです。

従来の3D Gaussian Splattingのようにシーンごとに何十分も再学習を回す必要がなく、画像を流し込むだけで探索可能な3Dシーンが出力されます。

何ができるのか

さまざまな角度から撮影した物体の写真を渡すと、モデルが正確な形状と質感を推論し、カメラを自由自在に動かせる3Dデータを生成します。

単一の物体だけでなく、大規模な空間にも対応可能です。検証デモでは1000フレームを超える車載カメラ動画を入力し、道路や周辺の街並みを丸ごと探索可能な3Dシーンとして破綻なく復元しています。

特筆すべきはノイズの少なさです。既存のフィードフォワード手法では視点を大きく動かした際に不要な浮遊ゴミやボケが発生しがちでしたが、InfiniSplat v2は細部のディテールを保ちながら非常にクリアな空間を出力します。

仕組みと精度

大きな視点変化に対応するため、InfiniSplat v2はモデル構造を根本から見直しています。

最大の特徴は、形状予測と外観属性予測の分離です。幾何構造を担当するブランチを固定（フリーズ）して形状を安定させ、外観予測ブランチと干渉しない構造にしました。

学習時には真値のカメラ姿勢を用いて生成されたガウス球の位置を整列させ、広角の目標視点による教師あり学習を行っています。

さらに、画像再構成の監視のみで学習させた不透明度が、幾何学的に矛盾するノイズを自動的に抑制することが判明しました。つまり、形状が合わない不要な点をモデル自ら透明にして消し去ってくれます。

6つのデータセットによる検証において、InfiniSplat v2は既存の評価手法の中で最先端のスコアを記録しました。カメラ姿勢が既知の条件下では、知覚的な誤差を表す平均LPIPSが25.8%、DISTSが32.9%も従来の最強ベースラインより低下しています。

動かし方

コードと学習済みモデルの重みはすでに公開されています。モデル全体のファイルサイズは約6.6GBとコンパクトにまとまっています。

一般的なコンシューマー向けGPUを積んだPCであればローカル環境で十分に動作可能です。リポジトリには環境構築から手持ちの画像セットを読み込ませるまでの手順がすべて記載されています。

なぜ重要か

InfiniSplat v2は、3D空間キャプチャを「時間のかかる最適化作業」から「即座に使える汎用推論」へと引き上げる実用的な一歩だと評価できます。ゲーム制作、バーチャルプロダクション、自動運転のシミュレーション環境作成において、検証サイクルを劇的に短縮できるはずです。

長時間の個別最適化を行った最上位の結果と比べれば極端な死角の再現に限界は残るものの、6.6GBのサイズで家庭用PCで動く手軽さは圧倒的です。3D生成や空間コンピューティングに関心があるなら、今すぐ試す価値があります。