AI 影片變 3D 世界：新方法抹平畫面衝突，單段影片就能重建

現在隨便抓一個主流影片模型，生成的片段都足夠驚豔，但只要你試著把這些畫面抽幀做成 3D 模型，就會發現災難現場：每一幀裡的桌角可能都在偷偷蠕動，前後視角的幾何結構完全對不上，直接重建出來的場景全是重影和碎片。

研究人員提出了一項名為 World Reconstruction from Inconsistent Views 的新方法。說白了，它就是來給 AI 影片收拾爛攤子的：不管畫面幀與幀之間怎麼前後矛盾，它都能通過幾何演算法把衝突抹平，重建成一個幾何一致、能隨意走動的 3D 世界。

像揉麵團一樣拉平形變

傳統的 3D 重建演算法要求非常苛刻，鏡頭拍攝的現實物體必須是剛性的、不能憑空變形。但擴散模型生成的影片本質上只是一連串看起來合理的畫面，幾何變形幾乎無法避免。

這項研究設計了一套三階段的處理流程。第一步，先用幾何基礎模型預估每一幀的深度和相機位姿，把畫面提煉成畫素級點雲。這時候的點雲因為幀間衝突，表面是完全錯亂分裂的。

核心的絕招在第二步。團隊開發了一套專門的非剛性幀到模型迭代最近點（ICP）演算法，配合稀疏特徵對應和全域性最佳化，把後續幀的形變一點點拉拽對齊到統一座標系裡。這就好比把扭曲的橡皮泥撫平，最終拼出一份纖薄且紋理清晰的高質量點雲骨架。

最後，他們以這套點云為基礎，引入逆形變渲染損失來進行非剛性感知的 2D 高斯濺射（2DGS）最佳化。在公開的線上演示裡，團隊還把模型轉為 3DGS 並用 .sog 格式壓縮，使用者在網頁端用鍵盤滑鼠就能直接漫遊。

單影片起步，還不挑底座模型

這套方法最實用的地方在於極低的輸入門檻。你甚至不需要輸入複雜的環繞影片陣列，僅憑單段影片裡抽出的 50 張連續影像，就能還原出細節銳利的 3D 區域性空間。

如果想探索完整的 360 度大場景，它還能搭配類似 WorldExplorer 的漸進擴充套件策略，一口氣拼接重建多達 32 段由 SEVA 生成的影片序列，把零散的漫遊畫面拼成完整無縫的大地圖。

更關鍵的是，它完全與底層模型解耦。論文測試了一整套主流影片生成陣列：從開源文本生成影片的 Wan-2.2，到帶相機控制的 ViewCrafter、Gen3C、SEVA 和 Voyager，再到自迴歸世界模型 Genie 3 和 HY-WorldPlay。不管影片生成器有多任性，它都能照單全收。

為什麼重要

對於 3D 創作者和遊戲開發者來說，這套工具指明瞭一條極高價效比的工作流。以往端到端訓練原生 3D 大模型門檻極高，資產種類也有限；現在你完全可以把精力放在提示詞和現成的影片模型上，先讓 AI 生成走位影片，再靠後處理直接匯出可漫遊的 3D 資產。

在行業競爭層面上，它改變了 3D 內容生成的競爭邏輯。過去大家糾結於到底該死磕原生 3D 架構，還是走影片升維路線。這項工作證明了後者的天花板其實很高：影片大模型已經吸收了全網海量的視覺物理規律，我們不需要強求模型本身幾何嚴絲合縫，只要後端的幾何對齊演算法足夠聰明，就能直接借力成熟的影片生態。

我們認為這項研究走得非常聰明。它沒有試圖去重新訓練一個算力黑洞級的統一模型，而是承認當前影片生成的缺陷，用經典的計算機視覺幾何最佳化去打補丁。雖然目前線上展示的場景邊緣仍有一點模糊，但它已經把影片生成器與真正可互動的虛擬世界之間的物理鴻溝填平了大半。