ArtiFixer 修復稀疏 3D 重建：藉助自迴歸擴散模型，幾張圖也能補全場景

拿著手機隨手拍兩三張照片，就想用 3D 高斯潑濺（3DGS）復原出一個完整的立體空間，結果往往是一場災難。只要鏡頭稍微轉到沒拍到的角度，畫面立刻支離破碎，背景裡漂浮著各種詭異的偽影。

研究團隊公佈了一項名為 ArtiFixer 的新方案。它就像給 3D 重建請來了一位數字修圖師，專門收拾資料稀疏帶來的爛攤子，藉助擴散模型把那些沒拍全的角落和背景補得嚴嚴實實。

既要看住已有畫面，又要大膽腦補

利用生成式 AI 來修補 3D 場景並不是新概念，但以往的做法通常有兩個硬傷。一是擴充套件性差，用單張影像擴散模型或短影片模型修圖，一次只能生成寥寥幾個視角，為了保持視角連貫，需要經過漫長而昂貴的迭代蒸餾。二是容易翻車，生成的內容經常和原本的物體對不上，遇到完全沒拍到的盲區直接徹底罷工。

ArtiFixer 的核心思路分成了兩步。團隊首先訓練了一個強大的雙向生成模型，並引入了一種獨特的不透明度混合策略。說白了，就是讓模型在面對已知視角時老老實實保持一致，而在面對徹底看不見的空白區域時，放開手腳去外推和補全合理的內容。

接著，他們把這個雙向模型蒸餾成一個因果自迴歸模型。這一步非常關鍵，它讓系統能夠在單次推理中一口氣生成數百幀連貫畫面。這些畫面既可以直接作為漫遊視角輸出，也能反過來作為偽監督訊號，非常高效地餵給底層的 3D 模型去重新最佳化。

雜亂廚房與空白背景都能救回來

從論文公佈的測試效果來看，不論是室外開闊場景，還是結構複雜的微縮盆景、凌亂的廚房檯面與雜亂客廳，ArtiFixer 都能明顯撫平那些破碎的邊緣與雜亂的噪點。

尤其是在原始照片完全沒拍到的背景區域，它能自然地推斷出合理的牆面、地面或天空延伸，而不是留下一片空洞或馬賽克。在常用基準資料集上的評測顯示，ArtiFixer 的重建質量比以往最先進的方案高出了 1 至 3 dB PSNR。

不過，這項技術目前還停留在論文階段。團隊雖然放出了 arXiv 論文，但目前並沒有公開 GitHub 倉庫，短期內普通使用者還很難直接上手把玩。

為什麼重要

對普通使用者和三維內容創作者來說，稀疏重建一直是門檻最高的一道坎。誰都不想為了建一個房間模型，在屋裡舉著手機拍上上百張照片。如果幾張隨手拍的照片就能靠演算法補出可用資產，空間影片和輕量 3D 建模的生產成本會被直接打下來。

從技術路徑上看，ArtiFixer 聰明的地方在於沒有硬碰硬地搞昂貴的多視角反覆迭代，而是通過蒸餾自迴歸模型把單次長序列生成的能力做紮實。用生成影片的連貫性反哺 3D 表達，這條路子看起來走得比單純依靠幾何對齊更實用。

我們認為，它的隱患在於生成模型固有的幻覺問題。雖然不透明度混合能穩住已有視角，但對盲區的補全本質上是一種基於機率的猜測。在遊戲或虛擬漫遊中這種腦補無傷大雅，但在需要毫米級精度的工業檢測或測繪場景裡，這種修補顯然不能照單全收。