开源模型 Fire3D：不到 1 分钟，把单张照片做成可编辑 3D 场景

Fire3D 是一个开源的前馈式 3D 场景重建框架。你只需要扔给它一张普通照片或者一段随手拍的视频，它就能在不到 1 分钟内，把画面拆解成一个个独立的物体，并重建成带材质纹理的完整 3D 模型。

以往从单张照片重建三维场景，要么只能生成整块无法编辑的点云，要么需要人工一张张抠图标记，再分别用生成模型单件建模。Fire3D 走的是另一条路：它在一次前馈推理中，同时搞定场景感知、物体分割、不可见部分的几何补全以及材质渲染，完全不需要测试期迭代优化。

它是怎么跑起来的

整套流程并不依赖人工给出的提示词、边界框或蒙版。输入图像或视频后，系统先通过内置的 Pi3X 估计点云与相机位姿，再借助 DINOv3 提取特征，直接在统一的三维空间中预测物体的数量、三维定向边界框以及 6 自由度位姿。

面对被遮挡的物体背面，Fire3D 采用基于扩散流匹配的结构生成，能把看不见的几何表面和材质完整补齐，生成非模态的完整网格，而不是只给看得到的那层表面贴皮。

为了让整间屋子能塞进单张显卡，研究团队提出了分层压缩自编码器 HC-VAE。它在 TRELLIS.2 的 SC-VAE 基础上额外做了第二层分层压缩，把潜空间特征容量缩小了 32 倍。这样一来，固定的 12 步流采样、解码与网格提取，能在单张 GPU 上同时并行处理最多 16 个物体。

实测在一台普通计算节点上，处理一段包含 60 帧视频、拆出 12 个独立资产（含背景）的室内场景，端到端耗时仅为 58.4 秒，其中点云与位姿估计只占 1.05 秒。

效果与同类对比

与以往的方案相比，Fire3D 的速度优势极为明显。像 HoloScene 这类基于逐场景优化的方案，重建一个场景通常需要约 8 个小时，而 Fire3D 只需要大约 1 分钟，不仅物体几何精度更优，还省去了漫长的搜寻与拟合。

如果对比由 Boxer、SAM2 和 TRELLIS.2 拼凑起来的模块化串联流水线，Fire3D 在 Imaginarium 测试集上的各项质量指标全面领先，网络推理速度也快了 6.52 倍。针对单个已知物体，它的几何推理与网格导出只需要 2.44 秒，远快于 LiteReality 的 18.21 秒。

重建出来的成果，每个前景物体都是独立的带 PBR 材质网格，墙面和地面等结构面则作为背景实例，可以直接拖进 Unreal Engine 做游戏关卡，或者导入 Blender 做特效，甚至直接扔进 IsaacSim 或 IsaacLab 做机器人仿真测试。

目前研究团队已经把推理代码、模型权重以及训练代码全部开源，项目主页上还提供了包含 8 个场景的交互式网页浏览体验。

为什么重要

如果你是独立游戏开发者、3D 资产创作者，或者正在搭建具身智能仿真环境，Fire3D 值得第一时间跑一跑。它最大的价值不是生成多完美的单独摆件，而是把「拆解场景、补全遮挡、摆回真实位置」这一套繁琐的人工流程自动化了，而且单卡就能跑通。

不过目前它的局限也很实在：官方明确提到，这套系统目前还没有针对物理稳定性以及从仿真到现实（sim-to-real）的迁移做系统评估。生成的物体虽然可以直接在物理引擎中摆放，但重心、接触面刚度和碰撞参数可能仍需要人工复核。