PixWorld 論文釋出：跳過潛空間，直接在畫素級做 3D 場景生成與重建

想用 AI 生成一個能四處走動的 3D 場景，過去往往得經歷兩次妥協：要麼在潛空間裡把畫面壓成低維特徵再生成，結果解壓出來到處是毛刺和糊斑；要麼把「看圖建模」和「憑空生成」拆成兩套完全不同的系統來跑。

研究人員公佈了一項名為 PixWorld 的新成果。它直接掀掉了中間的潛空間壓縮層，用一個單一模型，在純畫素空間裡把 3D 場景重建和生成合二為一。

甩掉潛空間，讓 AI 直接對著畫素畫 3D

大多數世界生成模型為了省算力，都習慣把影像塞進預訓練的 VAE 或 RAE 編碼器裡，在壓縮後的潛空間裡跑擴散演算法。算起來是快了，但每次壓縮和解碼都會丟失細節，AI 最佳化的也是潛在特徵，而不是最終渲染出來的 3D 真實長相。

PixWorld 乾脆拋棄了 VAE，直接在畫素空間裡做流匹配。它把帶相機位姿的多視角畫面分成兩批：乾淨的畫面負責提供已知資訊做重建，帶噪聲的畫面負責靠想像力做生成。

負責處理這套流程的是一個雙流 Diffusion Transformer。模型只做一次前向傳播，就能直接解碼出畫素對齊的 3D 高斯（3D Gaussian）表徵。也就是說，從輸入圖片到最終生成可互動的 3D 場景，中間沒有折騰人的多重轉碼。

為了防止在畫素空間生成時缺乏立體感，團隊還引入了一套幾何感知損失。他們拉來凍結的 3D 基座模型，比如 π³ 或 VGGT，把渲染出來的視角和真實畫面放在 3D 特徵空間裡比對，逼著模型在理解結構的前提下補全細節。

生成速度也打破了畫素空間通常很慢的刻板印象。專案頁面顯示，經過蒸餾後，4 步推理模型生成一個場景僅需約 0.6 秒，比傳統的擴散類世界生成器快了近千倍。有第三方報道提及能在幾秒內生成 480p 場景。團隊目前在主頁留出了程式碼入口，計劃陸續公開資料集、模型權重和推理程式碼。

為什麼重要

對遊戲美術、影視概念設計以及具身智慧開發者來說，PixWorld 這種「重建加生成」一把抓的工具，能大幅縮短搭建可漫遊場景的時間。只要隨手拍幾張參考圖，甚至給一張初始幀，AI 就能在半秒內把沒拍到的死角補全成連貫的三維空間。

我們認為，這項工作最聰明的地方，在於它戳破了 3D 生成領域長期對潛空間的依賴。過去大家認為在畫素空間端到端最佳化 3D 太重、算不動，但 PixWorld 證明了只要配合 3D 高斯表徵和幾何監督，直接對著最終渲染圖反向傳播，不僅畫面一致性更好，蒸餾後的速度甚至能反超老路線。

不過，完全在畫素空間訓練依然極其消耗算力，目前模型輸出的解析度和多視角大範圍外推能力，大機率還會受制於訓練資料的多樣性。未來它能否在複雜大場景中保持幾何不崩塌，還要等開源社群拿到程式碼和模型權重後進一步驗證。