FixAnything 开源：用视频大模型一键修复“崩掉”的 3D 渲染

FixAnything 是一个专门用来抢救破损 3D 渲染画面的开源工具。无论你用的是 3D 高斯泼溅（3DGS）、NeRF、传统网格还是稀疏点云，只要遇到视角外推时出现的破洞、悬浮噪点和模糊撕裂，它都能直接把粗糙的漫游画面修成干净连贯的高清视频。

做过三维重建的朋友大多踩过这种坑：从拍过照片的原角度看过去，场景细节非常精致。但镜头一旦移到没拍到的死角，整个几何结构立刻崩塌，空中飘满漂浮物。FixAnything 的思路非常巧妙，它没有试图去重构底层复杂的几何数据，而是把修复任务看成一次视频生成任务。

视频大模型当画工，位姿做尺子

任何破损的 3D 渲染，虽然细节烂了，但其实已经完整保留了摄像机运动轨迹和场景的大致轮廓。这正好给视频生成模型提供了天然的控制条件。

FixAnything 以 Wan2.1-I2V-14B 这一开源视频扩散模型为底座。它只需要在 20 对左右的视频样本上微调 LoRA，就能学会把粗糙点云或撕裂网格当成镜头控制线索。

为了防止生成模型自己脑补、导致每帧画面晃动变形，团队引入了 Flow-DPO 强化学习。系统会用 COLMAP 算法反推生成视频的相机位姿，位姿越符合真实轨迹，得分就越高，以此逼迫模型严守 3D 几何一致性。此外，它会锁定原始视角作为锚点帧，让画面在穿帮区域被修补的同时，原有的真实细节丝毫不被篡改。

怎么跑起来与硬件门槛

这套工具的代码和模型权重已经全部在 GitHub 和 Hugging Face 上以 Apache 2.0 协议开源，支持通过 Hugging Face 或 ModelScope 下载。

默认流程需要输入一段沿相机路径渲染的 61 帧视频，分辨率会自动处理成 832×480。如果场景轨迹很长，脚本会自动做分段重叠渲染。更省心的是，如果你手头只有两三张实拍照片，项目还集成了 MapAnything 流程，可以先自动构建稀疏三维场景，再一键调用 FixAnything 输出干净漫游。

环境基于 PyTorch 2.6、CUDA 12，并推荐开启 FlashAttention-2。需要留意的是，由于底座 Wan2.1 模型体积约为 60 GB，加上 14B 的参数量，本地部署需要一张大显存的专业卡或高端消费级显卡。

为什么重要

这对于平时折腾实景扫描、三维漫游和虚拟制片的团队来说非常实用。过去要把一个少角度扫描的 3DGS 场景拿去交差，往往需要在三维软件里手动剔除漂浮噪点、漫游路径还要避开死角，费时费力。现在只要生成一段粗糙漫游交给它当控制底稿，就能直接洗出可用的视频片段。

我们认为，这项工作展示了生成式视频先验反哺传统三维重建的一个绝佳切入点。它没有盲目追求生成完整无瑕的静态 3D 资产，而是退一步，直接在最终呈现的动态漫游上解决视差崩坏问题，用极少的训练样本换取了很高的实用性。虽然目前它主要输出视频而非直接更新三维高斯点，但对以视频交付为目的的创作者来说，这已经是一个省时省力的救场利器。