ArtiFixer 修复稀疏 3D 重建：借助自回归扩散模型，几张图也能补全场景

拿着手机随手拍两三张照片，就想用 3D 高斯泼溅（3DGS）复原出一个完整的立体空间，结果往往是一场灾难。只要镜头稍微转到没拍到的角度，画面立刻支离破碎，背景里漂浮着各种诡异的伪影。

研究团队公布了一项名为 ArtiFixer 的新方案。它就像给 3D 重建请来了一位数字修图师，专门收拾数据稀疏带来的烂摊子，借助扩散模型把那些没拍全的角落和背景补得严严实实。

既要看住已有画面，又要大胆脑补

利用生成式 AI 来修补 3D 场景并不是新概念，但以往的做法通常有两个硬伤。一是扩展性差，用单张图像扩散模型或短视频模型修图，一次只能生成寥寥几个视角，为了保持视角连贯，需要经过漫长而昂贵的迭代蒸馏。二是容易翻车，生成的内容经常和原本的物体对不上，遇到完全没拍到的盲区直接彻底罢工。

ArtiFixer 的核心思路分成了两步。团队首先训练了一个强大的双向生成模型，并引入了一种独特的不透明度混合策略。说白了，就是让模型在面对已知视角时老老实实保持一致，而在面对彻底看不见的空白区域时，放开手脚去外推和补全合理的内容。

接着，他们把这个双向模型蒸馏成一个因果自回归模型。这一步非常关键，它让系统能够在单次推理中一口气生成数百帧连贯画面。这些画面既可以直接作为漫游视角输出，也能反过来作为伪监督信号，非常高效地喂给底层的 3D 模型去重新优化。

杂乱厨房与空白背景都能救回来

从论文公布的测试效果来看，不论是室外开阔场景，还是结构复杂的微缩盆景、凌乱的厨房台面与杂乱客厅，ArtiFixer 都能明显抚平那些破碎的边缘与杂乱的噪点。

尤其是在原始照片完全没拍到的背景区域，它能自然地推断出合理的墙面、地面或天空延伸，而不是留下一片空洞或马赛克。在常用基准数据集上的评测显示，ArtiFixer 的重建质量比以往最先进的方案高出了 1 至 3 dB PSNR。

不过，这项技术目前还停留在论文阶段。团队虽然放出了 arXiv 论文，但目前并没有公开 GitHub 仓库，短期内普通用户还很难直接上手把玩。

为什么重要

对普通用户和三维内容创作者来说，稀疏重建一直是门槛最高的一道坎。谁都不想为了建一个房间模型，在屋里举着手机拍上上百张照片。如果几张随手拍的照片就能靠算法补出可用资产，空间视频和轻量 3D 建模的生产成本会被直接打下来。

从技术路径上看，ArtiFixer 聪明的地方在于没有硬碰硬地搞昂贵的多视角反复迭代，而是通过蒸馏自回归模型把单次长序列生成的能力做扎实。用生成视频的连贯性反哺 3D 表达，这条路子看起来走得比单纯依靠几何对齐更实用。

我们认为，它的隐患在于生成模型固有的幻觉问题。虽然不透明度混合能稳住已有视角，但对盲区的补全本质上是一种基于概率的猜测。在游戏或虚拟漫游中这种脑补无伤大雅，但在需要毫米级精度的工业检测或测绘场景里，这种修补显然不能照单全收。