ViDiHand 重建 3D 手部動作：借影片擴散模型搞定嚴重遮擋

教人形機器人做家務，最頭疼的一關不是走路，而是那雙到處亂抓的手。

人類的手動作太快，拿個杯子、擰個螺絲，手指互相遮擋或者被物體擋住大半是常有的事。以往的 AI 視覺演算法一遇到遮擋就抓瞎，不是把手指算變形，就是完全跟丟了軌跡。

研究團隊公佈了 ViDiHand。這項研究換了個腦回路：它不用傳統的手部檢測器，而是直接把預訓練好的影片擴散模型搬了過來，從第一人稱影片裡精確還原 3D 雙手動作。

借影片生成模型的眼睛看世界

以前做影片手部 3D 重建，通常先用一個檢測器框出手在哪，再逐幀推算。一旦手指被遮擋，檢測器第一步就漏判，後面全跟著崩潰。

就算有些演算法嘗試加入時序模型，但手部姿態的標註資料太少，AI 根本學不會現實世界裡複雜的運動規律和遮擋邏輯。

ViDiHand 的聰明之處，在於它看中了影片生成模型肚子裡裝的物理先驗。那些能在全網影片上生成連貫畫面的擴散模型，本身就暗中理解了物體前後遮擋、三維空間結構和運動連續性。

研究團隊並沒有把生成模型當成死板的特徵提取器，而是設計了一個手部覆蓋渲染任務，只調整手部區域，讓模型的特徵專門適應手部姿態，同時保留原有的世界物理常識。

不用檢測器，直接吃進全畫幅

整個處理流程非常乾淨。ViDiHand 不需要上游檢測器去切圖，不需要事後靠演算法強行補幀，也不需要繁瑣的測試時最佳化。

它直接處理完整的影片幀，通過雙分支解碼器，一邊預測手部關節點在相機座標系下的相對 3D 姿態，一邊預測二維畫素位置，最終合成真實尺度的雙手動作軌跡。

在 ARCTIC、HOT3D 和 HOI4D 這幾個極其硬核的手部互動基準測試上，ViDiHand 幾乎在所有關鍵指標上都把對手甩在身後。即便手指大面積被遮住，或者碰上魚眼相機的畸變畫面，它重建出的手部運動依然非常連貫平滑。

目前研究團隊已經上線了專案主頁，並打上了程式碼即將釋出的標籤。

為什麼重要

具身智慧和人形機器人現在最缺的，就是海量的高質量靈巧手互動資料。以往靠動捕手套或多視角相機棚拍，成本高得嚇人，場景也極其受限。

如果能戴著普通運動相機甚至智慧眼鏡，在日常生活中隨手拍影片，就能自動提純出高精度的雙手 3D 動作軌跡，機器人模仿學習的訓練資料瓶頸就有望徹底被打破。

我們認為，ViDiHand 的路線非常討巧。它沒有在貧瘠的手部標註資料裡死磕，而是巧妙借力了影片擴散模型在網際網路巨量資料上練出來的三維常識。

不過，影片擴散模型本身的計算開銷不小，目前來看離真正的低延遲即時推理還有距離。但作為一套離線的資料清洗與重建管線，它已經展現出了成為具身智慧基礎設施的潛力。