RecGen：哪怕被严重遮挡，看一张图也能脑补完整 3D 场景

如果你让现在的 AI 看一张杂乱的桌面照片，它大概能圈出哪里是杯子、哪里是手机。但如果杯子把手机挡了大半截，让它把被挡住的手机完整捏成 3D 模型，多数工具都会交白卷。

现实世界本来就到处都是遮挡。人在看到半个露出桌面的水杯时，脑子里能自动补齐整个杯子；机器视觉却很容易把遮挡部分当成空气，或者把重叠的物体胡乱粘在一起。

研究团队公布了一个叫 RecGen 的 3D 重建框架，试图专门解决这个让人头疼的问题。

乱七八糟的桌面，它也能一眼看穿

RecGen 的输入要求很简单：只需要一张或者少数几张包含深度信息的 RGB-D 图像，也就是普通彩色图配上深度图。

拿到照片后，系统会先给场景里的每个物体打上遮罩、分割开来。哪怕某些物体被前面的东西死死挡住，AI 只能看到一小部分，它也能结合学到的形状先验，把背后的几何结构、表面纹理以及空间位置一次性预测出来。

说白了，它就像一个经验丰富的收纳师傅，看一眼堆满杂物的箱子，就能推测出压在箱底的盒子里装的是什么尺寸的物品、朝什么角度放着。

在物体严重重叠、对称物体或者结构复杂的测试里，RecGen 给出的三维位姿和物体形状，都明显比以往工具更贴近真实物理世界。

用更少的数据，教会 AI 怎么脑补

要让 AI 学会这种脑补能力，关键在于怎么喂数据。

研究团队并没有去满世界实景扫描，而是搭建了一个庞大的合成数据集。里面包含了近 20 万个高质量 3D 资产，以及超过 300 万张合成 RGB 深度图。

在这个虚拟环境里，系统让物体不断重新排列、相互遮挡、随意旋转，甚至塞进各种干扰项。AI 从一开始学到的就是现实生活里的这种混乱感，而不是干干净净摆在展台上的单体模型。

最让人意外的是它的训练效率。相比之前的标杆模型 SAM3D，RecGen 使用的训练网格资产减少了将近 80%。

但成绩单却全面反超：几何形状质量提升了 30.1%，纹理重建质量高出 9.1%，三维姿态估计的精度也改善了 33.9%。

为什么重要

我们认为，RecGen 解决的不是好看的建模玩具问题，而是机器人和空间计算最迫切的一道坎。

机器人要想在现实里帮你收拾房间，它不能只看得到露出来的半个把手。它必须准确知道被挡住的剪刀尖在哪、朝向哪、抓起来会不会碰翻旁边的水杯。RecGen 这类框架，正是让具身智能理解物理世界实体的重要拼图。

从技术路线上看，这一步走得很聪明。过去做复杂场景 3D 重建，要么依赖多角度反复拍摄，要么需要海量真实标注数据。RecGen 证明了只要合成数据的组合逻辑足够贴近现实，用更少的高质量资产也能逼出极强的泛化能力。

不过目前它依然有门槛：它需要深度图作为输入，普通手机随手拍一张纯 RGB 照片还跑不起来。从生成独立的 3D 形状，到直接变成能够用于物理仿真的碰撞体积，工程上也还有一段距离需要磨合。