WorldSculpt 開源：把複雜場景拆成幾百個獨立 3D 物體

拿手機對著房間掃一圈，生成一個 3D 模型，這件事很多工具都能做。但問題在於，這些模型幾乎全是一整塊凝固的「死物」：桌子連著地板，咖啡杯焊死在桌面上，你想挪走一把椅子，整個場景就會破一個大洞。

Alaya Lab 與東京大學聯合推出了一個名為 WorldSculpt 的開源框架，試圖徹底解開這種尷尬局面。它能把一段帶標註的影片或多視角照片，拆解成包含數百個獨立 3D 物體的組合場景。更厲害的是，它甚至能把現在大火的 3D 高斯潑濺場景，直接逆向轉成一個個能單獨移動的網格。

把場景拆碎，讓每個零件能單獨編輯

傳統的 3D 重建大多追求視覺還原，不管是神經輻射場還是高斯潑濺，本質上都把整個空間當成一張巨大的連續畫布。看起來很逼真，但只要導進遊戲引擎，開發者就會發現根本沒法用，因為所有東西都融在了一起。

WorldSculpt 走了一條完全相反的路。它引入了「可組合」的概念，場景裡的每張桌子、每本書、每個花瓶，最終生成的都是獨立、完整的單個 3D 網格。在他們放出的網頁演示裡，你滑鼠懸停就能高亮選中一個物體，點選可以把它單獨揪出來，拉動滑塊甚至能像爆炸圖一樣，把整個房間的上百個物件瞬間拆散開來。

拆開之後，每個物體都能單獨調整大小、更換貼圖或者平移換位。因為每個網格本身都是封閉完整的，哪怕物體原本被牆壁或桌腿擋住了一大半，系統也會把背面看不見的部分完整補全，挪開後不會留下詭異的黑洞。

靠單物體先驗，撬動上百個堆疊道具

把幾百個物體同時重建出來，聽上去算力開銷會極其恐怖。WorldSculpt 的聰明之處在於，它沒有試圖去硬算整個場景的複雜互動，而是借力打力。

研究團隊改造了現有的單物體生成先驗模型 Pixal3D，給它搭了一條多視角空間對齊的通路。系統根據每個物體的 3D 邊界框建立區域性座標系，把不同視角下裁切出來的影像特徵，利用 DINOv3 對映到這個標準的體素網格里。這樣一來，看得見的地方嚴格還原真實照片，看不見的遮擋區域則由生成先驗來合理腦補。

更妙的是，因為每個物體的網格生成都是自洽獨立的，最後拼回整個場景只需要做簡單的剛性變換，不需要做跨物體的融合最佳化，也不用為每個物體單獨微調引數。這種設計讓它只用單物體的資料訓練，就能順暢擴充套件到包含數百個複雜物體的雜亂大場景。

團隊還測試了由 World Labs 旗下 Marble 生成的高斯潑濺場景。WorldSculpt 能直接讀取渲染視角，把原來一團團的高斯點雲，精準還原成由 80 萬高斯精簡後的獨立網格資產。此外，他們還基於虛幻引擎 5.8 搭建了一個包含 6 個高保真環境的密集測試基準。

為什麼重要

我們認為，WorldSculpt 踩中了當前 3D 生成領域最痛的一個堵點：從好看的「數字觀瞻」，跨越到能用的「數字資產」。

對於遊戲開發者、影視特效師或者機器人模擬團隊來說，實景掃描一直是個雞肋技術，掃出來的場景看起來再驚豔，也必須花大量人力手動拓撲、切分物體。WorldSculpt 證明了從拍攝影片到拆分出可互動資產的流水線是完全可行的，一旦工具鏈成熟，獨立開發者甚至能直接把自家客廳拍成現成的遊戲關卡道具庫。

它也給最近爆火的 3D 高斯潑濺技術補上了一塊關鍵拼圖。很多人覺得高斯潑濺雖然渲染飛快，但沒法編輯是硬傷；WorldSculpt 把它當成中間橋梁，將其解構回傳統的網格，這種思路比從零死磕網格生成要聰明得多。

不過目前來看，它還稱不上開箱即用。雖然程式碼已經開源，但輸入端依然依賴精確的例項掩碼和 3D 邊界框，虛幻引擎基準測試的完整網格也因為版權原因需要發郵件申請。但無論如何，把「融合死模型」變成「解耦積木塊」這一步，已經指明瞭下一代 3D 場景生成的標準形態。