Lift4D 亮相：一段普通 2D 影片直接重建完整 4D 場景

拿手機隨手拍一段小動物奔跑的影片，你只能看到對著鏡頭的這一側。要是能暫停畫面，直接把視角拉到背後，甚至繞著它 360 度轉一圈看它怎麼發力，那會是種什麼體驗？

6 月 22 日，研究人員公佈了名為 Lift4D 的全新演算法框架。它的核心突破，就是僅憑這樣一段普通的單視角 2D 影片，就能重建出包含完整外觀與運動變形的 4D 場景。

所謂 4D，其實就是動態的 3D，把時間維度和物體的形變過程一起算進去了。

怎麼用一個鏡頭腦補出整隻犀牛

如果讓你看一段野生犀牛走動的影片，哪怕犀牛隻露出一側，你的大腦也能立刻腦補出它背對鏡頭的另一側長什麼樣、四肢在怎麼交替。

但在計算機視覺裡，單機位影片重建一直是個死穴。過去的做法要麼依賴大量的 4D 資料集做端到端訓練，要麼只能套用特定物體的固定骨架模板，遇到貓狗、奔跑的野生動物或者大幅度形變，模型立刻就會崩潰。

更麻煩的是，現有的單圖 3D 模型如果一幀一幀單獨去猜，生成的每一幀 3D 結果都會互相打架、瘋狂閃爍。

Lift4D 想了個挺聰明的辦法。它引入了一種因果潛在條件機制，把前後幀的隱空間資訊串聯起來傳遞，讓單視角 3D 模型在連續幀裡輸出高度一致的幾何預測，先把地基打穩。

動態 3D 高斯與擴散模型的配合

地基搭好後，系統會構建一個由稀疏控制節點驅動的可形變 3D 高斯模型，用來專門捕捉物體的非剛性運動。

光有運動還不夠，真實影片裡到處都是遮擋。比如犀牛的前腿擋住了後腿，或者軀幹轉過去看不到了。

Lift4D 設計了一套遮擋感知渲染監督機制。它利用深度線索精準定位被遮擋的位置，再通過顏色匹配把不可見的區域和可見區域調和在一起，生成一張乾淨的參考圖。

至於鏡頭自始至終都沒拍到的視覺盲區，它直接搬來了影像擴散先驗模型，把死角里的外觀合理地腦補出來。

這就像一位經驗老到的雕刻師，一邊對照著影片正面雕刻細節，一邊靠通用審美把背面補齊。

為什麼重要

我們認為，Lift4D 最吸引人的地方，在於它撕掉了 4D 重建對多機位陣列和昂貴動作捕捉裝置的依賴。

對於遊戲開發者、特效製作人員或者獨立創作者來說，這意味著以後不需要搭建幾十個攝像頭的陣列，也不用大費周章給物體貼標記點，一段現成的網圖影片就能轉化為可編輯的動態 3D 資產。

從技術路線上看，直接預測 4D 資料的路子一直受困於真實世界 4D 訓練資料的極度匱乏。Lift4D 巧妙地避開了這個硬骨頭，轉而用成熟的單圖 3D 和影像生成先驗來做測試時最佳化，思路非常務實。

不過也得潑一盆冷水，測試時最佳化意味著它不可能像生成模型那樣秒出結果。每一段影片都需要經歷多輪渲染監督與迭代計算，算力開銷並不低。

但無論如何，能把一段隨手拍的單視角影片變成可自由漫遊的 4D 場景，單目三維重建離平民化又近了一大步。