跳到正文
IFAI

AI科研

DistScene 亮相:用單張圖片生成完整 3D 世界,告別物體拼接錯位

首次發布 傳播指數 36

研究團隊公佈 DistScene 框架,能用單張圖片生成包含周邊環境和獨立物體的完整 3D 場景。它摒棄了先生成散落物體再硬拼的舊做法,改在統一座標系中聯合建模並單獨精調物體幾何。官方表示未來將公開模型和資料集。

DistScene 亮相:用單張圖片生成完整 3D 世界,告別物體拼接錯位
圖:arxiv.org

如果你試過用 AI 生成 3D 場景,大機率體會過那種拼積木般的崩潰:演算法先在虛空中搓出一張桌子、兩把椅子和一盞檯燈,再試圖把它們硬塞進一個房間裡。結果往往是桌腿陷進地板,椅子懸在半空,整個空間別扭得像個穿模嚴重的遊戲半成品。

研究團隊公佈了名為 DistScene 的全新 3D 場景生成框架,試圖徹底換掉這套容易翻車的拼接邏輯。只要餵給它一張普通的環境照片,它就能直接重建出包含完整環境和獨立物體的 3D 空間。

先定好座標系,再拆開細雕琢

過去大部分 3D 生成工具之所以容易把空間拼歪,是因為它們把場景當成了孤立物體的簡單集合。物體各自生成,誰也不清楚周圍的牆角或地面到底在哪,最後強行對齊自然破綻百出。

DistScene 換了個思路,提出了場景級聯合生成機制。它把周圍環境當成一個顯式的幾何框架,在同一個全域性 3D 座標系裡,把環境和內部的所有物體同時生成出來。這樣一來,物體在生成的第一秒就已經知道了自己和地板、牆面的相對位置關係。

但這還沒完,如果只在大場景裡統一算,單個物體的細節往往容易模糊。於是 DistScene 又設計了一道區域性最佳化流程:把場景裡的每個物體單獨提取出來,在區域性座標系中結合剛才的環境上下文做幾何精細化修整,雕琢完畢後再穩穩當當地放回最初的位置。

為了讓整體場景和單個物體的質量兼備,團隊還引入了物體到場景的知識蒸餾技術。他們通過自動組合渲染的合成場景,把業界已有的成熟單物體 3D 生成先驗遷移到了複雜場景生成中。

室內室外都跑了一圈,坐等權重開源

在論文的基準測試中,研究人員把 DistScene 扔到了室內和室外兩類資料集裡進行考驗。從測試結果來看,無論是在幾何結構的嚴整性、物體與環境的一致性,還是整體畫面的逼真度上,它都明顯拉開了和此前基準方案的差距。

目前研究團隊已經上線了專案主頁展示效果。雖然程式碼、權重和資料集尚未直接放出,但官方明確表示未來會全部公開。

為什麼重要

對 3D 創作者、獨立遊戲開發者和空間計算內容製作者來說,單圖生成全場景一直是個誘人卻難用的願景。以往先生成單體道具再手動拼場景的流程極其消耗體力,而 DistScene 證明了單張 2D 畫面完全可以直接轉成邏輯自洽、層次分明的 3D 資產,省去了大量手工擺位和對齊的髒活。

更深層的影響在於具身智慧和機器人訓練。機器人要在真實世界裡行動,最需要的就是包含物理幾何約束的環境資料;如果能從海量單張網際網路圖片裡直接批次提煉出帶物體分離標註的高質量 3D 場景,模擬訓練環境的生產成本將被大幅壓縮。

我們認為 DistScene 最聰明的地方,在於沒有死磕全場景一步到位,也沒有退回散裝拼接的老路,而是用統一座標系先把大框架穩住,再區域性精修。不過目前它依然停留在論文和演示階段,合成數據蒸餾出來的先驗面對極其雜亂的真實物理場景時會不會退化,還要等它正式開源後接受實際檢驗。

來源 (2)

  1. [1]
  2. [2]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選