ViDiHand 重建 3D 手部动作：借视频扩散模型搞定严重遮挡

教人形机器人做家务，最头疼的一关不是走路，而是那双到处乱抓的手。

人类的手动作太快，拿个杯子、拧个螺丝，手指互相遮挡或者被物体挡住大半是常有的事。以往的 AI 视觉算法一遇到遮挡就抓瞎，不是把手指算变形，就是完全跟丢了轨迹。

研究团队公布了 ViDiHand。这项研究换了个脑回路：它不用传统的手部检测器，而是直接把预训练好的视频扩散模型搬了过来，从第一人称视频里精确还原 3D 双手动作。

借视频生成模型的眼睛看世界

以前做视频手部 3D 重建，通常先用一个检测器框出手在哪，再逐帧推算。一旦手指被遮挡，检测器第一步就漏判，后面全跟着崩溃。

就算有些算法尝试加入时序模型，但手部姿态的标注数据太少，AI 根本学不会现实世界里复杂的运动规律和遮挡逻辑。

ViDiHand 的聪明之处，在于它看中了视频生成模型肚子里装的物理先验。那些能在全网视频上生成连贯画面的扩散模型，本身就暗中理解了物体前后遮挡、三维空间结构和运动连续性。

研究团队并没有把生成模型当成死板的特征提取器，而是设计了一个手部覆盖渲染任务，只调整手部区域，让模型的特征专门适应手部姿态，同时保留原有的世界物理常识。

不用检测器，直接吃进全画幅

整个处理流程非常干净。ViDiHand 不需要上游检测器去切图，不需要事后靠算法强行补帧，也不需要繁琐的测试时优化。

它直接处理完整的视频帧，通过双分支解码器，一边预测手部关节点在相机坐标系下的相对 3D 姿态，一边预测二维像素位置，最终合成真实尺度的双手动作轨迹。

在 ARCTIC、HOT3D 和 HOI4D 这几个极其硬核的手部交互基准测试上，ViDiHand 几乎在所有关键指标上都把对手甩在身后。即便手指大面积被遮住，或者碰上鱼眼相机的畸变画面，它重建出的手部运动依然非常连贯平滑。

目前研究团队已经上线了项目主页，并打上了代码即将发布的标签。

为什么重要

具身智能和人形机器人现在最缺的，就是海量的高质量灵巧手交互数据。以往靠动捕手套或多视角相机棚拍，成本高得吓人，场景也极其受限。

如果能戴着普通运动相机甚至智能眼镜，在日常生活中随手拍视频，就能自动提纯出高精度的双手 3D 动作轨迹，机器人模仿学习的训练数据瓶颈就有望彻底被打破。

我们认为，ViDiHand 的路线非常讨巧。它没有在贫瘠的手部标注数据里死磕，而是巧妙借力了视频扩散模型在互联网巨量数据上练出来的三维常识。

不过，视频扩散模型本身的计算开销不小，目前来看离真正的低延迟实时推理还有距离。但作为一套离线的数据清洗与重建管线，它已经展现出了成为具身智能基础设施的潜力。