PanoWorld 亮相:輸入戶型圖,直接生成整套房屋連貫 3D VR 遊覽
研究人員公佈空間世界模型 PanoWorld。輸入一張平面戶型圖和風格參考,它就能生成整套互相連線、帶傢俱的 360 度全景房屋遊覽。最關鍵的是,它通過 3D 空間記憶維持各房間視點的一致性,避免畫面錯亂。目前程式碼和權重尚未正式釋出。

如果你試過用常規影像 AI 給一整套房子做設計,大機率踩過同一個坑:客廳渲染得再驚豔,一旦讓它生成轉角臥室,沙發的配色變了,門的位置歪了,連層高都對不上。
目前的 2D 擴散模型在生成單張美圖時很在行,但在多視角移動時卻像是在不斷失憶;而直接去算整套房子的單體超大 3D 模型,不僅耗費鉅額算力,細緻紋理也容易糊成一片。
研究人員公佈了一項名為 PanoWorld 的生成式空間世界模型研究。它給出的解法很直接:只要餵給它一張 2D 戶型圖和一張風格參考圖,它就能一口氣生成整套互相連通、帶傢俱的 360 度全景虛擬住宅。
給 AI 腦子裡裝一塊「空間記事本」
PanoWorld 聰明的地方在於,它沒有硬造一個連續的第一人稱 3D 世界,而是借鑑了真實房產 VR 導覽的做法,把整套房子拆成一個個離散的 360 度全景節點,用自迴歸的方式按節點依次生成。
要讓各個房間的視點不串味、不穿幫,它做了兩層設計。一層是從戶型圖直接推匯出來的 3D 外殼,用來充當全域性的幾何骨架;另一層則是基於 3D 高斯潑濺(3DGS)搭建的動態快取,相當於給模型裝上了一塊可隨時渲染的「空間視覺記憶」。
每生成一個新視點的全景圖,專用的前向全景 LRM 會把畫面轉化成區域性的 3DGS 增量,更新進全域性記憶裡;再配合所謂的房間感知組注意力機制,AI 在算衛生間時,就不會被隔壁客廳的沙發紋理強行干擾。
這套機制跑通後,使用者還能給整棟房子一鍵換皮。戶型結構和空間動線完全不動,只要換一張參考圖,整套虛擬住宅就能在幾秒鐘內從法式奢華風切換成現代極簡風,而且各個房間的視角依然嚴絲合縫。
演示很驚豔,但程式碼還沒出庫
目前研究人員在 arXiv 上放出了技術論文,也在專案主頁展示了不同風格和戶型的漫遊演示。
不過,對於想立刻下載部署的開發者或設計師來說,現在還得再等等。專案頁面顯示程式碼和模型權重仍處於準備狀態,標註了即將推出。
為什麼重要
對於室內設計和房地產從業者來說,PanoWorld 展示了一種極具殺傷力的工作流。過去為了給客戶展示兩套不同風格的方案,設計師需要花幾天時間建三維模型、布光渲染,而現在從一張草圖到整套可互動的 VR 樣板間,迭代週期被直接拉到了分鐘級。
在行業技術路線上,它為世界模型落地垂直場景提供了一條極具價效比的捷徑。相比於自動駕駛那種要求極高即時連續渲染的龐大世界模型,室內漫遊本質上需要的是高畫質晰度貼圖和強幾何約束;PanoWorld 把 3D 幾何外殼與 2D 擴散生成解耦,用低成本的離散節點解決了多房間一致性的大難題。
不過我們認為,它目前的侷限也很分明。這種基於節點的跳轉不是真正的自由行走,在遇到複雜的躍層或異形挑高空間時,從戶型圖推斷 3D 外殼的準確率也有待實測檢驗。但無論如何,把空間記憶引入生成流程,已經給未來的空間計算與建築視覺化標出了清晰的方向。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org