オープンソースのFire3D：日常の写真から1分未満で編集可能な3Dシーンを生成

Fire3Dは、日常の写真1枚や手持ちで撮影した動画から、1分未満で個別に編集可能な3Dシーンアセットを丸ごと再構成できるオープンソースのフィードフォワード型フレームワークです。

従来の3D再構成では、シーン全体の最適化に何時間も計算を回すか、あるいは手動で物体ごとにマスクを切って個別の生成AIに渡す必要がありました。Fire3Dは、物体認識、セグメンテーション、見えない裏側の補完、テクスチャ生成までを、事後最適化なしの一気通貫な推論パイプラインとしてまとめ上げています。

仕組みと高速化のポイント

入力は普通のRGB画像や動画のみで、ユーザーがバウンディングボックスやマスクを指定する必要はありません。組み込みのPi3Xが点群とカメラ姿勢を推定し、DINOv3の特徴量を用いて物体の総数、3次元の向き、6自由度の姿勢を直接予測します。

遮蔽されて見えない物体の裏側についても、フローモデルを用いて完全な3次元メッシュとPBRテクスチャを推定します。手前の物体だけでなく、床や壁といった構造面も背景インスタンスとして同時に再構成されます。

シーン全体を単一のGPUで処理可能にしたのが、新たに提案された階層型圧縮オートエンコーダー「HC-VAE」です。TRELLIS.2で使われているSC-VAEと比較して潜在表現の容量を32倍圧縮することに成功し、最大16個の物体を1枚のグラフィックボード上で同時にバッチ処理できます。

実測テストでは、60フレームの動画から背景を含む12個のインスタンスを抽出・再構成する処理が、わずか58.4秒で完了しました。

性能比較と公開状況

従来の最適化手法であるHoloSceneが1シーンあたり約8時間を要していたのに対し、Fire3Dは約1分で同等以上の幾何精度を達成します。また、Boxer、SAM2、TRELLIS.2を組み合わせたモジュール型のパイプラインと比べても、推論速度が6.52倍高速で、品質スコアも上回っています。

生成された各メッシュは位置情報が保たれており、個別に移動や編集が可能です。Unreal EngineやBlenderへの取り込みはもちろん、IsaacSimなどのロボット物理シミュレータにもそのまま持ち込めます。

プロジェクトサイトでは、推論コード、学習済みモデルのチェックポイント、学習コードがすでに公開されています。

なぜ重要か

インディーゲーム開発者やロボティクスの研究者にとって、現実の部屋を手軽にシミュレーション可能な3D空間へ変換できるツールの登場は大きな前進です。単一のアセット生成にとどまらず、シーン全体の構造と各オブジェクトの配置を自動で整理してくれるため、プロトタイピングの工数を大幅に削れます。

ただし、研究チーム自身も認めている通り、物理的な安定性や現実世界への転移（sim-to-real）についてはまだ厳密な検証が行われていません。物理シミュレータ上で物体を動かす際には、重心や接触判定の確認などある程度の手作業が必要になる点には留意すべきです。