Ai2 开源 WildDet3D：单张照片生成 3D 边界框，手机就能跑

现在的视觉 AI 只要看一眼照片，就能报出里面有猫、有椅子、有咖啡杯。但如果你追问一句：这把椅子离我多远、实际有多大、朝向哪边？大多数模型立刻就卡壳了。

要让机器在物理世界里干活，光知道物体是什么远远不够。无论是给扫地机器人认路、让仓库机械臂分拣箱子，还是在手机 AR 里摆家具，核心难题都在于空间智能。过去想要测算这些，要么靠昂贵的多目相机阵列，要么得限定在自动驾驶或特定室内场景里。

非营利研究机构 Ai2 开源了单目 3D 目标检测模型 WildDet3D。它解决的问题很直观：不管是用手机随手拍的照片、运动相机的广角画面，还是机器人传回的实时视频，只要给一张普通 RGB 图像，模型就能直接预测出物体的公制度量 3D 边界框，把真实世界里的位置、长宽高和空间姿态一次性算出来。

像叫外卖一样圈定 3D 物体

WildDet3D 最讨喜的地方，在于它支持极其灵活的交互方式，而不是逼着用户输入复杂的几何参数。

你可以直接给它输入文本提示词。在画面里打上「显示器」和「纸」，模型就会自动找出它们，并在空间中套上立体的 3D 框。如果你输入「动物」，哪怕场景里挤满了不同种类的活物，它也能逐一把每只动物的 3D 姿态勾勒出来。

不想打字也可以直接动手。在手机屏幕上点一下某个物体，或者随手画一个最普通的 2D 矩形框，WildDet3D 就能把这个 2D 选框直接升维成 3D 边界框。

这种机制甚至带来了零样本的 3D 视频追踪能力。因为它可以接收任意上游检测器输出的 2D 框，并逐帧推算 3D 位置。这意味着即使系统从来没在追踪数据上训练过，只要镜头在移动，它也能稳稳咬住空间里的物体。

双轨并行架构与 370 万开放标注

把 2D 图像拉进 3D 空间，过去往往需要极高的算力开销。WildDet3D 在架构设计上走了一条相当轻巧的双轨路线。

它的底层由三个组件配合完成。一边是基于 SAM3 视觉骨干的 2D 检测器，负责接收文本、点击或选框等各种输入；另一边是几何后端，利用冻结的 DINOv2 编码器和可训练的深度解码器来估计逐像素深度。这两条分支并行运转，最后由一个 3D 检测头通过交叉注意力机制把几何特征和 2D 目标融合，直接输出真实尺度的 3D 框。

如果设备本身带有激光雷达或 ToF 传感器，它还能把稀疏深度信息顺手吸收进来，进一步提升精度。Ai2 甚至做了一个 iOS 端演示 Demo，可以直接在 iPhone 上结合摄像头与 LiDAR 实时渲染 AR 边界框。

更难得的是生态开源的彻底程度。Ai2 不仅放出了模型权重和训练代码，还同步开源了 WildDet3D-Data 数据集。里面包含超过 100 万张图像、横跨 1.3 万个物体类别的 370 万个验证 3D 标注，其中有超过 10 万张属于人工标注数据。

为什么重要

空间智能喊了这么久，很多团队还在把 2D 识别结果硬生生套进大语言模型里做空间推理，结果往往是连距离近一点还是远一点都分不清。

我们认为，WildDet3D 最聪明的地方，在于它没有试图用一个笨重的大模型去包揽一切，而是把 3D 空间定位做成了一个极具通用性的基础接口。它不仅能独立运行，还能无缝接入像 Molmo 2 这样的多模态大模型，充当视觉大模型的空间推理感知层。

对于做具身智能、AR 开发和机器人视觉的开发者来说，这一套工具几乎是开箱即用的福音。你不需要自建高成本的多目采集设备，也不用再去到处拼凑私有的 3D 标注数据，直接拿这套单目方案就能把原型搭建起来。

不过也需要看清现实。虽然在手机端有针对性的轻量演示，但官方也承认完整模型的全功能运行目前依然依赖服务器端算力，或者需要做进一步的量化剪裁。但无论如何，Ai2 把从模型、训练管线到 370 万高质量 3D 数据全部端上桌的做法，给整个开源社区在空间智能赛道上追赶工业界提供了一张扎实的底牌。