Ai2 開源 WildDet3D：單張照片生成 3D 邊界框，手機就能跑

現在的視覺 AI 只要看一眼照片，就能報出裡面有貓、有椅子、有咖啡杯。但如果你追問一句：這把椅子離我多遠、實際有多大、朝向哪邊？大多數模型立刻就卡殼了。

要讓機器在物理世界裡幹活，光知道物體是什麼遠遠不夠。無論是給掃地機器人認路、讓倉庫機械臂分揀箱子，還是在手機 AR 裡擺傢俱，核心難題都在於空間智慧。過去想要測算這些，要麼靠昂貴的多目相機陣列，要麼得限定在自動駕駛或特定室內場景裡。

非營利研究機構 Ai2 開源了單目 3D 目標檢測模型 WildDet3D。它解決的問題很直觀：不管是用手機隨手拍的照片、運動相機的廣角畫面，還是機器人傳回的即時影片，只要給一張普通 RGB 影像，模型就能直接預測出物體的公制度量 3D 邊界框，把真實世界裡的位置、長寬高和空間姿態一次性算出來。

像叫外賣一樣圈定 3D 物體

WildDet3D 最討喜的地方，在於它支援極其靈活的互動方式，而不是逼著使用者輸入複雜的幾何引數。

你可以直接給它輸入文本提示詞。在畫面裡打上「顯示器」和「紙」，模型就會自動找出它們，並在空間中套上立體的 3D 框。如果你輸入「動物」，哪怕場景裡擠滿了不同種類的活物，它也能逐一把每隻動物的 3D 姿態勾勒出來。

不想打字也可以直接動手。在手機螢幕上點一下某個物體，或者隨手畫一個最普通的 2D 矩形框，WildDet3D 就能把這個 2D 選框直接升維成 3D 邊界框。

這種機制甚至帶來了零樣本的 3D 影片追蹤能力。因為它可以接收任意上游檢測器輸出的 2D 框，並逐幀推算 3D 位置。這意味著即使系統從來沒在追蹤資料上訓練過，只要鏡頭在移動，它也能穩穩咬住空間裡的物體。

雙軌並行架構與 370 萬開放標註

把 2D 影像拉進 3D 空間，過去往往需要極高的算力開銷。WildDet3D 在架構設計上走了一條相當輕巧的雙軌路線。

它的底層由三個元件配合完成。一邊是基於 SAM3 視覺骨幹的 2D 檢測器，負責接收文本、點選或選框等各種輸入；另一邊是幾何後端，利用凍結的 DINOv2 編碼器和可訓練的深度解碼器來估計逐畫素深度。這兩條分支並行運轉，最後由一個 3D 檢測頭通過交叉注意力機制把幾何特徵和 2D 目標融合，直接輸出真實尺度的 3D 框。

如果裝置本身帶有雷射雷達或 ToF 感測器，它還能把稀疏深度資訊順手吸收進來，進一步提升精度。Ai2 甚至做了一個 iOS 端演示 Demo，可以直接在 iPhone 上結合攝像頭與 LiDAR 即時渲染 AR 邊界框。

更難得的是生態開源的徹底程度。Ai2 不僅放出了模型權重和訓練程式碼，還同步開源了 WildDet3D-Data 資料集。裡面包含超過 100 萬張影像、橫跨 1.3 萬個物體類別的 370 萬個驗證 3D 標註，其中有超過 10 萬張屬於人工標註資料。

為什麼重要

空間智慧喊了這麼久，很多團隊還在把 2D 識別結果硬生生套進大語言模型裡做空間推理，結果往往是連距離近一點還是遠一點都分不清。

我們認為，WildDet3D 最聰明的地方，在於它沒有試圖用一個笨重的大模型去包攬一切，而是把 3D 空間定位做成了一個極具通用性的基礎介面。它不僅能獨立執行，還能無縫接入像 Molmo 2 這樣的多模態大模型，充當視覺大模型的空間推理感知層。

對於做具身智慧、AR 開發和機器人視覺的開發者來說，這一套工具幾乎是開箱即用的福音。你不需要自建高成本的多目採集裝置，也不用再去到處拼湊私有的 3D 標註資料，直接拿這套單目方案就能把原型搭建起來。

不過也需要看清現實。雖然在手機端有針對性的輕量演示，但官方也承認完整模型的全功能執行目前依然依賴伺服器端算力，或者需要做進一步的量化剪裁。但無論如何，Ai2 把從模型、訓練管線到 370 萬高質量 3D 資料全部端上桌的做法，給整個開源社群在空間智慧賽道上追趕工業界提供了一張紮實的底牌。