WorldSculpt 开源：把复杂场景拆成几百个独立 3D 物体

拿手机对着房间扫一圈，生成一个 3D 模型，这件事很多工具都能做。但问题在于，这些模型几乎全是一整块凝固的「死物」：桌子连着地板，咖啡杯焊死在桌面上，你想挪走一把椅子，整个场景就会破一个大洞。

Alaya Lab 与东京大学联合推出了一个名为 WorldSculpt 的开源框架，试图彻底解开这种尴尬局面。它能把一段带标注的视频或多视角照片，拆解成包含数百个独立 3D 物体的组合场景。更厉害的是，它甚至能把现在大火的 3D 高斯泼溅场景，直接逆向转成一个个能单独移动的网格。

把场景拆碎，让每个零件能单独编辑

传统的 3D 重建大多追求视觉还原，不管是神经辐射场还是高斯泼溅，本质上都把整个空间当成一张巨大的连续画布。看起来很逼真，但只要导进游戏引擎，开发者就会发现根本没法用，因为所有东西都融在了一起。

WorldSculpt 走了一条完全相反的路。它引入了「可组合」的概念，场景里的每张桌子、每本书、每个花瓶，最终生成的都是独立、完整的单个 3D 网格。在他们放出的网页演示里，你鼠标悬停就能高亮选中一个物体，点击可以把它单独揪出来，拉动滑块甚至能像爆炸图一样，把整个房间的上百个物件瞬间拆散开来。

拆开之后，每个物体都能单独调整大小、更换贴图或者平移换位。因为每个网格本身都是封闭完整的，哪怕物体原本被墙壁或桌腿挡住了一大半，系统也会把背面看不见的部分完整补全，挪开后不会留下诡异的黑洞。

靠单物体先验，撬动上百个堆叠道具

把几百个物体同时重建出来，听上去算力开销会极其恐怖。WorldSculpt 的聪明之处在于，它没有试图去硬算整个场景的复杂交互，而是借力打力。

研究团队改造了现有的单物体生成先验模型 Pixal3D，给它搭了一条多视角空间对齐的通路。系统根据每个物体的 3D 边界框建立局部坐标系，把不同视角下裁切出来的图像特征，利用 DINOv3 映射到这个标准的体素网格里。这样一来，看得见的地方严格还原真实照片，看不见的遮挡区域则由生成先验来合理脑补。

更妙的是，因为每个物体的网格生成都是自洽独立的，最后拼回整个场景只需要做简单的刚性变换，不需要做跨物体的融合优化，也不用为每个物体单独微调参数。这种设计让它只用单物体的数据训练，就能顺畅扩展到包含数百个复杂物体的杂乱大场景。

团队还测试了由 World Labs 旗下 Marble 生成的高斯泼溅场景。WorldSculpt 能直接读取渲染视角，把原来一团团的高斯点云，精准还原成由 80 万高斯精简后的独立网格资产。此外，他们还基于虚幻引擎 5.8 搭建了一个包含 6 个高保真环境的密集测试基准。

为什么重要

我们认为，WorldSculpt 踩中了当前 3D 生成领域最痛的一个堵点：从好看的「数字观瞻」，跨越到能用的「数字资产」。

对于游戏开发者、影视特效师或者机器人仿真团队来说，实景扫描一直是个鸡肋技术，扫出来的场景看起来再惊艳，也必须花大量人力手动拓扑、切分物体。WorldSculpt 证明了从拍摄视频到拆分出可交互资产的流水线是完全可行的，一旦工具链成熟，独立开发者甚至能直接把自家客厅拍成现成的游戏关卡道具库。

它也给最近爆火的 3D 高斯泼溅技术补上了一块关键拼图。很多人觉得高斯泼溅虽然渲染飞快，但没法编辑是硬伤；WorldSculpt 把它当成中间桥梁，将其解构回传统的网格，这种思路比从零死磕网格生成要聪明得多。

不过目前来看，它还称不上开箱即用。虽然代码已经开源，但输入端依然依赖精确的实例掩码和 3D 边界框，虚幻引擎基准测试的完整网格也因为版权原因需要发邮件申请。但无论如何，把「融合死模型」变成「解耦积木块」这一步，已经指明了下一代 3D 场景生成的标准形态。