跳到正文
IFAI

AI科研

AnyRecon 亮相:隨手拍幾張無序照片,就能重建連貫 3D 場景

首次發布 傳播指數 36

研究人員提出 3D 重建框架 AnyRecon,只需輸入幾張未對齊、無序拍攝的照片,就能重建出連貫的 3D 場景。它引入全域性場景記憶機制,克服了以往擴散方法視角不一致的缺陷。這意味著隨手拍兩三張照片,也能拼出可靠的三維模型。

AnyRecon 亮相:隨手拍幾張無序照片,就能重建連貫 3D 場景
圖:arxiv.org

以前想給一個房間或街頭角落做 3D 重建,體驗往往像在工地上測量放線。你得拿著手機嚴絲合縫地轉圈掃視,稍微漏拍幾個死角,或者走動時亂了順序,傳統演算法立刻就算崩給你看。

研究人員公開了一項名為 AnyRecon 的 3D 重建框架。它的核心賣點非常接地氣:不管你拍得有多隨性,哪怕只有零星幾張角度刁鑽、毫無順序的照片,它也能順順當當重建成連貫的 3D 場景與點雲。

給 AI 戴上一張「環境心智地圖」

要理解 AnyRecon 贏在哪裡,得先看同行之前卡在哪。

非生成式的傳統 3D 重建極度依賴密集的視角重疊,一旦輸入稀疏就直接罷工。後來大家開始轉向影片擴散模型,讓 AI 靠腦補來補全缺失視角。但像 ViewCrafter 或 Uni3C 這類已有方案,通常一次只能兼顧一到兩幀參考圖。換句話說,模型畫著後面的視角,早就把前面的視角忘光了,空間幾何經常前後打架。

AnyRecon 換了個思路,給模型裝上了一套持續更新的「全域性場景記憶」。

它設計了前置捕獲視角快取,並且直接去掉了時間壓縮,這樣即使你從屋子這頭突然跳拍到屋子那頭,模型依然能在幀級別牢牢咬住對應關係。與此同時,它把生成和重建綁在一起,利用顯式的 3D 幾何記憶與檢索來約束擴散模型,不讓它放飛自我瞎腦補。

為了不讓計算量爆炸,研究團隊還塞進了 4 步擴散蒸餾和上下文視窗稀疏注意力,硬生生把龐大的二次方複雜度拉了下來。

哪怕只有兩張照片,也能順滑拼接

從目前公佈的實測效果看,AnyRecon 展現出的容錯率相當驚人。

哪怕只給它 5 張從隨機角度隨手拍下的照片,它也能直接還原出完整而連貫的 3D 場景點雲。在另一個測試裡,輸入僅僅是同一地點 4 張拍攝區域各不相同的散圖,模型依然能把它們順滑拼接成一個整體。

最極端的情況下,測試人員只餵給它兩個大角度視角的畫面,AnyRecon 依然能夠把中間巨大的視角空白填補完整,生成符合空間真實感的重建結果。比起先前的生成式同行,它的邊緣細節更紮實,鏡頭拉伸時也不會出現明顯的果凍變形。

為什麼重要

我們認為,AnyRecon 最漂亮的地方,在於它徹底撕掉了高保真 3D 重建對「專業拍攝習慣」的嚴苛要求。

對普通創作者和獨立開發者來說,這意味著三維資產採集的門檻斷崖式下跌。你不需要為了建一個道具模型專門繞著它拍上百張環拍圖,翻翻手機相簿裡隨手存下的幾張生活照,可能就足以拼出一個能用的粗模。

對 3D 視覺行業而言,它指明瞭一條將「擴散模型的生成先驗」與「傳統幾何硬約束」深度咬合的有效路徑。過去大家總覺得生成式 3D 只是好看的花架子、幾何精度一塌糊塗,而 AnyRecon 證明了只要全域性記憶管得住,生成式模型一樣能輸出靠譜的三維幾何。

不過也得潑一點冷水。目前 AnyRecon 仍然停留在學術研究階段,面對完全背光、反光材質或者視野幾乎零重疊的極端場景,AI 腦補出來的部分到底有多少物理保真度,依然需要在工業級場景裡接受考驗。但無論如何,能把散亂的廢片變成連貫的三維空間,這一步已經走得足夠紮實。

來源 (1)

  1. [1]

每日 AI 內容精選