InfiniSplat v2 開源：多張照片一鍵重建 3D 場景，消費級顯示卡可跑

InfiniSplat v2 是一個剛開源的前向 3D 高斯重建模型，能把你從不同角度拍的幾張照片，或者一段長影片，直接變成可以自由移動鏡頭、探索細節的 3D 場景。

它主打的是前向推理重建。這意味著你不需要像傳統高斯濺射那樣為每個新場景單獨訓練幾個小時，喂入素材就能直接吐出 3D 場景。

它能做到什麼

你可以拿手機繞著一個物體拍幾張照片餵給它，模型會推斷出物體的三維幾何形狀和外觀，還原出一個乾淨的 3D 資產。

除了單個物體，它還能處理規模大得多的複雜環境。測試案例裡，它直接吃進了超過 1000 幀的連續駕駛影片，成功重建出整段街景，並且允許你在場景裡自由變換視角穿行。

更關鍵的是畫面乾淨度。很多同類前向模型在大視角移動時很容易出現毛刺或懸浮噪點，而 InfiniSplat v2 在保留邊緣細節的同時，畫面幾乎沒有多餘的雜質。

它是怎麼做到的

以往的前向 3D 高斯方法最容易卡在大視角變化上：一旦視線轉動角度過大，畫面就會發虛或者變形。InfiniSplat v2 做了幾個很關鍵的架構改動。

首先是解耦。它把幾何結構預測和外觀屬性預測拆成兩條線，用一個凍結的幾何分支專門管三維形狀，外觀分支專門負責算視覺效果，彼此不打架。

在訓練階段，團隊引入了大角度目標視角監督，並用真實相機姿態來對齊預測出的三維高斯點。

另外研究人員發現，只靠影像重建監督學出來的高斯不透明度，能自動識別並抑制那些幾何上不一致的錯誤點。說白了，模型自己學會了把算歪的噪點變透明，最終合成的畫面自然非常純淨。

論文顯示，在六個主流資料集的評測中，InfiniSplat v2 在已知位姿和未知位姿兩種設定下都拿到了前向輸出的最佳水平。在已知位姿測試裡，衡量畫面感知誤差的平均 LPIPS 和 DISTS 指標相比現有最強基準分別下降了 25.8% 和 32.9%。

怎麼跑起來

該專案的程式碼和模型權重已經全部公開。整個模型權重打包下來大約 6.6GB，體積控制得相當剋制。

只要你有一張視訊記憶體夠用的消費級輝達顯示卡，就能在本地把它搭起來跑。專案主頁和程式碼倉庫裡已經附帶了完整的環境配置指南和執行指令碼，照著步驟拉取依賴就能上手試跑自己的照片集。

為什麼重要

我們認為 InfiniSplat v2 代表了神經渲染工具從「單場景定製最佳化」走向「即插即用模型」的重要一步。對於遊戲美術、虛擬製片或空間計算開發者來說，過去搭一個可探索場景要先跑漫長的 SfM 配準再跑最佳化，現在直接前向推理就能看到結果，原型驗證速度會快好幾個數量級。

不過也要看到，前向模型在面對遮擋嚴重、光照極端的罕見視角時，精度上限依然很難完全趕上精細打磨數小時的單場景微調。但這套模型證明了解耦幾何與外觀是跑通大規模前向重建的有效路線，值得每一位關注 3D 生成和具身智慧場景重建的開發者在本地拉下來測測看。