Meta 开源 ShapeR：随手拍视频拆出尺寸准确的独立 3D 物体

Meta 开源的 ShapeR 能把随手拍的视频或多视角照片序列，直接拆解成一个个独立的、尺寸准确的 3D 模型。

以往用 NeRF 或 3D 高斯泼溅这类技术重建房间，最大的痛点是整间屋子被糊成一个不可分割的整体。墙壁、桌子、椅子和水杯黏在一起，你想把椅子往旁边挪十厘米，或者单独拿出一个杯子导进游戏引擎，根本办不到。ShapeR 解决的就是这个可编辑性问题。

它是怎么把物体拆出来的

ShapeR 的核心思路是以物体为中心做条件生成。它不需要特殊设备，普通手机拍的一段视频就能当作输入。

处理流程分为两步。第一步，它先调用现成的 SLAM 算法计算出相机的运动轨迹和空间稀疏点云，同时用 3D 实例检测把场景里的物体一个个框出来。

第二步，针对每个检测到的物体，系统提取出相关的多视角图像、2D 投影点、稀疏 SLAM 点云，以及视觉语言模型生成的文本描述。这些多模态信息会被打包喂给一个整流流 Transformer 模型。模型在潜空间中去噪生成 VecSet 表达，最终输出具备完整几何形状的独立 3D 网格。

更关键的是尺寸真实。传统单图 3D 生成往往摸不准物理尺寸，经常把桌子拉伸变形，或者把杯子做得比水壶还大。ShapeR 靠多视角几何约束和 SLAM 点云锚定真实空间，重建出来的每个物体在位置和比例上都具备度量级准确性。

怎么跑起来与开源情况

有意思的是，ShapeR 完全是用合成数据训练出来的。研究团队利用了 Aria 合成环境，在训练中模拟了大量真实世界的遮挡、杂乱背景以及 SLAM 点云噪点，还采用了课程学习策略。

即便没用大规模真实 3D 数据微调，它直接拿到真实数据集 ScanNet++ 上跑，也能很好地重建完整物体。如果搭配 MapAnything 这类工具生成度量点，它甚至能支持单张图像输入。

此外，它还能和 Meta 之前的 SAM 3D 拼在一起用。ShapeR 负责把框架骨骼和精准尺寸搭好，SAM 3D 负责补足纹理细节，正好互补。

目前 Meta 已经在 GitHub 和项目主页上放出了完整内容，包括代码、模型权重、格式说明，以及一个专门的野外评测数据集。这个数据集包含 7 个复杂真实场景、178 个物体的完整 3D 标注，带有视角多变的真实遮挡。

为什么重要

如果你是做 3D 资产制作、游戏开发或者具身智能训练的开发者，ShapeR 非常值得关注。它让随手拍视频变成现成 3D 资产库的门槛大幅降低，省去了大量手动扣物体、校准尺寸的脏活累活。

以往的 3D 重建要么追求单张图快速出模型但尺寸全靠猜，要么追求整场高保真但变成死模型一块。ShapeR 巧妙地在几何 SLAM 的物理严谨和扩散生成的补全能力之间找到了平衡点。虽然当前它在极端动态场景下可能仍然受限，但这种将整块空间解耦成度量级独立部件的做法，给数字孪生和机器人环境理解指了一条很实用的路。