字节跳动提出 Lucida：把杂乱房间变成可编辑的 3D 场景

如果你用手机或者专业相机扫描过房间，应该深有体会：生成出来的 3D 模型虽然看着挺逼真，但本质上就是一大坨融在一起的面片。桌子连着地板，茶杯长在桌面上，你想在仿真引擎里指挥虚拟机器人拿起那个杯子，根本无从下手。

字节跳动 Seed 团队联合北京大学、浙江大学发布了一篇论文，推出了名为 Lucida 的可组合 3D 场景建模系统。它解决的核心痛点，就是把杂乱的真实房间拆解重构，变成每个物体都能单独挪动、缩放和交互的 3D 仿真环境。

先拆解、再生成，最后闭环摆回去

传统的重建方法，往往一上来就假设上游的输入很完美：要求没有遮挡、几何结构精确、物体边界清晰。但现实生活中的房间往往堆满杂物，物体互相挡住是常态。

Lucida 的思路挺聪明，它把流程拆成了三步，把对精度的要求留到了最后。

第一步是解析。系统先从视频里挑出关键帧，把不同视角里的同一物体关联起来，构建出一个场景图，摸清楚屋里到底有哪些东西。

第二步是生成。即使某个物体在原视频里被挡住了一大半，Lucida 也会根据多视角的线索，为它合成一张无遮挡的图像，并重建出一个完整、干净的独立 3D 资产。

第三步也是最亮眼的一步，叫摆放。研究团队做了一个叫做 GizmoAct 的视觉语言模型策略。它就像一个坐在 3D 建模软件前的熟练工人，在物体的局部坐标系里操作控制手柄，一步一步微调位置和角度，对比渲染画面和真实场景，直到完全对齐才收手。

成绩单与测试表现

这种把放置当成闭环交互的做法，在实测中拉开了明显差距。

在 R2S-Scene 数据集上，Lucida 相比 Boxer 将场景级 3D 物体检测的 mAP 提升了 69%。

在 CA-1M 数据集上，物体位姿估计指标 ADD-SB@0.05 从 57.8% 猛增到 83.4%。

而在场景重建完整度上，它的场景 F-Score 达到了 0.924，远高过 SAM3D 的 0.794。对比单视角重建，Lucida 能更好地保住物体的真实尺寸、朝向和空间排列。

目前字节跳动只放出了技术论文和项目主页，还没有开放代码仓库或在线试用。

为什么重要

具身智能和机器人训练现在最大的瓶颈之一，就是逼真又可交互的数据资产太贵、太难做。过去给机器人搭一个虚拟厨房，工程师得在 Blender 里手动摆几天；要么用 3D 扫描，扫出来却是一块焊死的整体。

Lucida 的价值在于，它打通了一条低成本把现实世界变成数字孪生试验场的路子。拍一段杂乱房间的视频，就能自动化拿到按物体解耦的仿真资产，机器人可以直接在里面练抓取、避障。

我们认为，用 VLM 当闭环操作员的思路走得很对。很多传统算法卡在初始误差太大，而让多模态大模型像人一样一边看画面对比、一边推手柄微调，避开了对初始几何绝对精准的死板依赖。不过真正的考验在于落地阶段：完全遮挡下的脑补资产是否符合物理规律、推断速度能否支持快速建模，还需要等开源之后行业的大规模检验。