tttLRM 開源：不到 4GB 搞定 3D 重建，連電線和文字都能清晰還原

玩過 3D 高斯潑濺的人大概都有體會：拍了一堆照片扔進去，渲染出來的模型總帶著一層揮之不去的雲霧感，邊緣漂著各種碎屑噪點，細節一拉近就露餡。

研究團隊開源了名為 tttLRM 的 3D 重建模型。這個全稱為「測試時訓練長上下文自迴歸 3D 重建」的工具，直接把模型體積壓到了 4GB 以下，在普通消費級顯示卡上就能跑起來。

告別煙霧彈，連電線和海報文字都看得清

傳統的 3DGS 在處理多角度照片時，經常會出現漂浮的煙霧狀偽影和畫面撕裂。

tttLRM 在這方面乾淨得多。在官方展示的寺廟和庭院場景中，它不僅還原了整體空間，連背景裝飾、布料的紋理質感都能準確捕捉。

更讓人驚喜的是細長物體和微小圖案。戶外場景裡的高空電線、海報上原本極易糊掉的細小文字，它都能清晰地復原出來。

無論是掃描複雜的整體大場景，還是隻圍著單個物體拍幾張照片，它都能快速輸出高質量的 3D Gaussian Splat 結果。

把照片塞進 fast weights：測試時訓練的巧勁

能做到又輕又清，核心在於它引入了測試時訓練技術。

以往的大模型要處理很多張照片，計算量會隨視角數量急劇膨脹。tttLRM 設計了一個 TTT 層，在輸入照片的當下，把照片資訊快速壓縮排一部分叫做 fast weights 的內部引數裡。

這樣做的好處是計算複雜度呈線性增長，不會隨著照片變多而直接爆視訊記憶體。

它在隱空間裡構建出隱式 3D 表示，再解碼成我們常用的高斯點雲。論文提到，它還支援從流式輸入的連續照片中逐步更新模型。

專案程式碼目前已經在 GitHub 開源並附帶本地部署說明，Hugging Face 上的權重不到 4GB，主流消費級顯示卡裝下它毫無壓力。

為什麼重要

我們認為，tttLRM 最吸引人的地方在於把 3D 重建的硬體門檻和人工修模成本同時打了下來。

對於獨立開發者或 3D 創作者來說，過去用 3DGS 掃描資產，要麼依賴昂貴的算力，要麼得花大量時間手動擦除那些煩人的浮動噪點。現在一臺普通遊戲本或單張消費級顯示卡，就能在本地生成乾淨的資產，非常值得有現場建模需求的人上手一試。

從技術路線來看，這給長上下文 3D 重建提供了一個極佳的解法。行業過去總在糾結是硬扛注意力機制的二次方開銷，還是犧牲精度做輕量化。tttLRM 證明了用 TTT 線性壓縮多視角資訊切實可行，甚至把新視角合成的預訓練能力無縫遷移到了顯式 3D 建模上。

不過也要看到，儘管它在幾何邊緣和文字細節上表現優異，面對複雜反光表面或遮擋極嚴重的死角時，依然受限於輸入照片的覆蓋度。快速更新內部引數的做法很聰明，但遇到極端光照差異時泛化能力如何，還需要社群在實際場景中進一步驗證。