PanoWorld 亮相:输入户型图,直接生成整套房屋连贯 3D VR 游览
研究人员公布空间世界模型 PanoWorld。输入一张平面户型图和风格参考,它就能生成整套互相连接、带家具的 360 度全景房屋游览。最关键的是,它通过 3D 空间记忆维持各房间视点的一致性,避免画面错乱。目前代码和权重尚未正式发布。

如果你试过用常规图像 AI 给一整套房子做设计,大概率踩过同一个坑:客厅渲染得再惊艳,一旦让它生成转角卧室,沙发的配色变了,门的位置歪了,连层高都对不上。
目前的 2D 扩散模型在生成单张美图时很在行,但在多视角移动时却像是在不断失忆;而直接去算整套房子的单体超大 3D 模型,不仅耗费巨额算力,细致纹理也容易糊成一片。
研究人员公布了一项名为 PanoWorld 的生成式空间世界模型研究。它给出的解法很直接:只要喂给它一张 2D 户型图和一张风格参考图,它就能一口气生成整套互相连通、带家具的 360 度全景虚拟住宅。
给 AI 脑子里装一块「空间记事本」
PanoWorld 聪明的地方在于,它没有硬造一个连续的第一人称 3D 世界,而是借鉴了真实房产 VR 导览的做法,把整套房子拆成一个个离散的 360 度全景节点,用自回归的方式按节点依次生成。
要让各个房间的视点不串味、不穿帮,它做了两层设计。一层是从户型图直接推导出来的 3D 外壳,用来充当全局的几何骨架;另一层则是基于 3D 高斯泼溅(3DGS)搭建的动态缓存,相当于给模型装上了一块可随时渲染的「空间视觉记忆」。
每生成一个新视点的全景图,专用的前向全景 LRM 会把画面转化成局部的 3DGS 增量,更新进全局记忆里;再配合所谓的房间感知组注意力机制,AI 在算卫生间时,就不会被隔壁客厅的沙发纹理强行干扰。
这套机制跑通后,用户还能给整栋房子一键换皮。户型结构和空间动线完全不动,只要换一张参考图,整套虚拟住宅就能在几秒钟内从法式奢华风切换成现代极简风,而且各个房间的视角依然严丝合缝。
演示很惊艳,但代码还没出库
目前研究人员在 arXiv 上放出了技术论文,也在项目主页展示了不同风格和户型的漫游演示。
不过,对于想立刻下载部署的开发者或设计师来说,现在还得再等等。项目页面显示代码和模型权重仍处于准备状态,标注了即将推出。
为什么重要
对于室内设计和房地产从业者来说,PanoWorld 展示了一种极具杀伤力的工作流。过去为了给客户展示两套不同风格的方案,设计师需要花几天时间建三维模型、布光渲染,而现在从一张草图到整套可交互的 VR 样板间,迭代周期被直接拉到了分钟级。
在行业技术路线上,它为世界模型落地垂直场景提供了一条极具性价比的捷径。相比于自动驾驶那种要求极高实时连续渲染的庞大世界模型,室内漫游本质上需要的是高清晰度贴图和强几何约束;PanoWorld 把 3D 几何外壳与 2D 扩散生成解耦,用低成本的离散节点解决了多房间一致性的大难题。
不过我们认为,它目前的局限也很分明。这种基于节点的跳转不是真正的自由行走,在遇到复杂的跃层或异形挑高空间时,从户型图推断 3D 外壳的准确率也有待实测检验。但无论如何,把空间记忆引入生成流程,已经给未来的空间计算与建筑可视化标出了清晰的方向。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org