Meta 開源 ShapeR：隨手拍影片拆出尺寸準確的獨立 3D 物體

Meta 開源的 ShapeR 能把隨手拍的影片或多視角照片序列，直接拆解成一個個獨立的、尺寸準確的 3D 模型。

以往用 NeRF 或 3D 高斯潑濺這類技術重建房間，最大的痛點是整間屋子被糊成一個不可分割的整體。牆壁、桌子、椅子和水杯黏在一起，你想把椅子往旁邊挪十釐米，或者單獨拿出一個杯子導進遊戲引擎，根本辦不到。ShapeR 解決的就是這個可編輯性問題。

它是怎麼把物體拆出來的

ShapeR 的核心思路是以物體為中心做條件生成。它不需要特殊裝置，普通手機拍的一段影片就能當作輸入。

處理流程分為兩步。第一步，它先呼叫現成的 SLAM 演算法計算出相機的運動軌跡和空間稀疏點雲，同時用 3D 例項檢測把場景裡的物體一個個框出來。

第二步，針對每個檢測到的物體，系統提取出相關的多視角影像、2D 投影點、稀疏 SLAM 點雲，以及視覺語言模型生成的文本描述。這些多模態資訊會被打包餵給一個整流流 Transformer 模型。模型在潛空間中去噪生成 VecSet 表達，最終輸出具備完整幾何形狀的獨立 3D 網格。

更關鍵的是尺寸真實。傳統單圖 3D 生成往往摸不準物理尺寸，經常把桌子拉伸變形，或者把杯子做得比水壺還大。ShapeR 靠多視角幾何約束和 SLAM 點雲錨定真實空間，重建出來的每個物體在位置和比例上都具備度量級準確性。

怎麼跑起來與開源情況

有意思的是，ShapeR 完全是用合成數據訓練出來的。研究團隊利用了 Aria 合成環境，在訓練中模擬了大量真實世界的遮擋、雜亂背景以及 SLAM 點雲噪點，還採用了課程學習策略。

即便沒用大規模真實 3D 資料微調，它直接拿到真實資料集 ScanNet++ 上跑，也能很好地重建完整物體。如果搭配 MapAnything 這類工具生成度量點，它甚至能支援單張影像輸入。

此外，它還能和 Meta 之前的 SAM 3D 拼在一起用。ShapeR 負責把框架骨骼和精準尺寸搭好，SAM 3D 負責補足紋理細節，正好互補。

目前 Meta 已經在 GitHub 和專案主頁上放出了完整內容，包括程式碼、模型權重、格式說明，以及一個專門的野外評測資料集。這個資料集包含 7 個複雜真實場景、178 個物體的完整 3D 標註，帶有視角多變的真實遮擋。

為什麼重要

如果你是做 3D 資產製作、遊戲開發或者具身智慧訓練的開發者，ShapeR 非常值得關注。它讓隨手拍影片變成現成 3D 資產庫的門檻大幅降低，省去了大量手動扣物體、校準尺寸的髒活累活。

以往的 3D 重建要麼追求單張圖快速出模型但尺寸全靠猜，要麼追求整場高保真但變成死模型一塊。ShapeR 巧妙地在幾何 SLAM 的物理嚴謹和擴散生成的補全能力之間找到了平衡點。雖然當前它在極端動態場景下可能仍然受限，但這種將整塊空間解耦成度量級獨立部件的做法，給數字孿生和機器人環境理解指了一條很實用的路。