開源模型 Fire3D：不到 1 分鐘，把單張照片做成可編輯 3D 場景

Fire3D 是一個開源的前饋式 3D 場景重建框架。你只需要扔給它一張普通照片或者一段隨手拍的影片，它就能在不到 1 分鐘內，把畫面拆解成一個個獨立的物體，並重建成帶材質紋理的完整 3D 模型。

以往從單張照片重建三維場景，要麼只能生成整塊無法編輯的點雲，要麼需要人工一張張摳圖示記，再分別用生成模型單件建模。Fire3D 走的是另一條路：它在一次前饋推理中，同時搞定場景感知、物體分割、不可見部分的幾何補全以及材質渲染，完全不需要測試期迭代最佳化。

它是怎麼跑起來的

整套流程並不依賴人工給出的提示詞、邊界框或蒙版。輸入影像或影片後，系統先通過內建的 Pi3X 估計點雲與相機位姿，再借助 DINOv3 提取特徵，直接在統一的三維空間中預測物體的數量、三維定向邊界框以及 6 自由度位姿。

面對被遮擋的物體背面，Fire3D 採用基於擴散流匹配的結構生成，能把看不見的幾何表面和材質完整補齊，生成非模態的完整網格，而不是隻給看得到的那層表面貼皮。

為了讓整間屋子能塞進單張顯示卡，研究團隊提出了分層壓縮自編碼器 HC-VAE。它在 TRELLIS.2 的 SC-VAE 基礎上額外做了第二層分層壓縮，把潛空間特徵容量縮小了 32 倍。這樣一來，固定的 12 步流取樣、解碼與網格提取，能在單張 GPU 上同時並行處理最多 16 個物體。

實測在一臺普通計算節點上，處理一段包含 60 幀影片、拆出 12 個獨立資產（含背景）的室內場景，端到端耗時僅為 58.4 秒，其中點雲與位姿估計只佔 1.05 秒。

效果與同類對比

與以往的方案相比，Fire3D 的速度優勢極為明顯。像 HoloScene 這類基於逐場景最佳化的方案，重建一個場景通常需要約 8 個小時，而 Fire3D 只需要大約 1 分鐘，不僅物體幾何精度更優，還省去了漫長的搜尋與擬合。

如果對比由 Boxer、SAM2 和 TRELLIS.2 拼湊起來的模組化串聯流水線，Fire3D 在 Imaginarium 測試集上的各項質量指標全面領先，網路推理速度也快了 6.52 倍。針對單個已知物體，它的幾何推理與網格匯出只需要 2.44 秒，遠快於 LiteReality 的 18.21 秒。

重建出來的成果，每個前景物體都是獨立的帶 PBR 材質網格，牆面和地面等結構面則作為背景例項，可以直接拖進 Unreal Engine 做遊戲關卡，或者匯入 Blender 做特效，甚至直接扔進 IsaacSim 或 IsaacLab 做機器人模擬測試。

目前研究團隊已經把推理程式碼、模型權重以及訓練程式碼全部開源，專案主頁上還提供了包含 8 個場景的互動式網頁瀏覽體驗。

為什麼重要

如果你是獨立遊戲開發者、3D 資產創作者，或者正在搭建具身智慧模擬環境，Fire3D 值得第一時間跑一跑。它最大的價值不是生成多完美的單獨擺件，而是把「拆解場景、補全遮擋、擺回真實位置」這一套繁瑣的人工流程自動化了，而且單卡就能跑通。

不過目前它的侷限也很實在：官方明確提到，這套系統目前還沒有針對物理穩定性以及從模擬到現實（sim-to-real）的遷移做系統評估。生成的物體雖然可以直接在物理引擎中擺放，但重心、接觸面剛度和碰撞引數可能仍需要人工複核。