RecGen：哪怕被嚴重遮擋，看一張圖也能腦補完整 3D 場景

如果你讓現在的 AI 看一張雜亂的桌面照片，它大概能圈出哪裡是杯子、哪裡是手機。但如果杯子把手機擋了大半截，讓它把被擋住的手機完整捏成 3D 模型，多數工具都會交白卷。

現實世界本來就到處都是遮擋。人在看到半個露出桌面的水杯時，腦子裡能自動補齊整個杯子；機器視覺卻很容易把遮擋部分當成空氣，或者把重疊的物體胡亂粘在一起。

研究團隊公佈了一個叫 RecGen 的 3D 重建框架，試圖專門解決這個讓人頭疼的問題。

亂七八糟的桌面，它也能一眼看穿

RecGen 的輸入要求很簡單：只需要一張或者少數幾張包含深度資訊的 RGB-D 影像，也就是普通彩色圖配上深度圖。

拿到照片後，系統會先給場景裡的每個物體打上遮罩、分割開來。哪怕某些物體被前面的東西死死擋住，AI 只能看到一小部分，它也能結合學到的形狀先驗，把背後的幾何結構、表面紋理以及空間位置一次性預測出來。

說白了，它就像一個經驗豐富的收納師傅，看一眼堆滿雜物的箱子，就能推測出壓在箱底的盒子裡裝的是什麼尺寸的物品、朝什麼角度放著。

在物體嚴重重疊、對稱物體或者結構複雜的測試裡，RecGen 給出的三維位姿和物體形狀，都明顯比以往工具更貼近真實物理世界。

用更少的資料，教會 AI 怎麼腦補

要讓 AI 學會這種腦補能力，關鍵在於怎麼喂資料。

研究團隊並沒有去滿世界實景掃描，而是搭建了一個龐大的合成數據集。裡面包含了近 20 萬個高質量 3D 資產，以及超過 300 萬張合成 RGB 深度圖。

在這個虛擬環境裡，系統讓物體不斷重新排列、相互遮擋、隨意旋轉，甚至塞進各種干擾項。AI 從一開始學到的就是現實生活裡的這種混亂感，而不是乾乾淨淨擺在展臺上的單體模型。

最讓人意外的是它的訓練效率。相比之前的標杆模型 SAM3D，RecGen 使用的訓練網格資產減少了將近 80%。

但成績單卻全面反超：幾何形狀質量提升了 30.1%，紋理重建質量高出 9.1%，三維姿態估計的精度也改善了 33.9%。

為什麼重要

我們認為，RecGen 解決的不是好看的建模玩具問題，而是機器人和空間計算最迫切的一道坎。

機器人要想在現實裡幫你收拾房間，它不能只看得到露出來的半個把手。它必須準確知道被擋住的剪刀尖在哪、朝向哪、抓起來會不會碰翻旁邊的水杯。RecGen 這類框架，正是讓具身智慧理解物理世界實體的重要拼圖。

從技術路線上看，這一步走得很聰明。過去做複雜場景 3D 重建，要麼依賴多角度反覆拍攝，要麼需要海量真實標註資料。RecGen 證明了只要合成數據的組合邏輯足夠貼近現實，用更少的高質量資產也能逼出極強的泛化能力。

不過目前它依然有門檻：它需要深度圖作為輸入，普通手機隨手拍一張純 RGB 照片還跑不起來。從生成獨立的 3D 形狀，到直接變成能夠用於物理模擬的碰撞體積，工程上也還有一段距離需要磨合。