ViDiHand：動画拡散モデルで遮蔽に強い3D手指動作を高精度再構成

人型ロボットに器用な手作業を教えようとするとき、最大の壁になるのが人間の手の動きの複雑さです。

指先は高速で動き、物を掴むたびに視界から隠れ、指同士も激しく重なり合います。従来のコンピュータビジョンでは、指が少し隠れただけで検出に失敗し、3D姿勢が不自然に崩れてしまうのが日常茶飯事でした。

研究チームは動画拡散モデルを活用して一人称視点映像から高精度な3D両手動作を復元する「ViDiHand」を発表しました。

動画生成モデルの「物理の常識」を借りる

これまでの3D手指再構成手法は、まず画面内の手を検出器で切り抜き、フレームごとに姿勢を推定するのが主流でした。しかし遮蔽が起きると検出器そのものが機能しなくなり、後続の処理も全滅します。

時系列で補間しようにも、3D手の正解ラベル付きデータは世の中に極めて少なく、複雑な相互作用をゼロから学習するのは困難でした。

そこでViDiHandは、動画生成AIの内部表現に着目しました。ネット上の膨大な映像で訓練された動画拡散モデルは、物体の前後関係や立体構造、遮蔽の連続性といった空間の物理法則を暗黙のうちに獲得しています。

研究チームはこの事前学習済みモデルを固定せず、手部オーバーレイ描画タスクを通じて適応させました。世界に対する事前知識を保ったまま、特徴表現を手部認識へと特化させています。

検出器なしで全画面をそのまま処理

ViDiHandのパイプラインは極めてシンプルです。事前の手部検出器も、後処理の動作補間モジュールも、推論時の時間のかかる最適化計算も一切使いません。

動画フレーム全体をそのまま入力し、2分岐のデコーダが3D関節の相対姿勢と2D画像上の位置を同時に推定して、実スケールの両手軌道を復元します。

激しい遮蔽を含むARCTICや、魚眼レンズ映像を含むHOT3D、HOI4Dといった難関ベンチマークにおいて、ViDiHandは従来手法を大きく上回る精度と滑らかさを記録しました。プロジェクトページはすでに公開されており、コードも間もなく公開される予定です。

なぜ重要か

人型ロボットや空間コンピューティングの進化にとって、人間の器用な手指動作データは喉から手が出るほど欲しい資源です。しかしモーションキャプチャ手袋などの専用機材は高価で、実環境での大量収集には向きません。

日常の一人称視点カメラ映像から正確な3D動作を抽出できるようになれば、ロボット模倣学習のためのデータ収集コストは劇的に下がります。

動画拡散モデルを単なる映像生成ではなく、頑健な空間認識エンジンとして転用したアプローチは非常に合理的だと感じます。限られたラベル付きデータに頼る限界を、大規模モデルの事前知識で見事に突破しました。

拡散モデルゆえの計算負荷の高さという課題は残るものの、オフラインでの高品質な教師データ生成ツールとして見れば、ロボティクス分野にとって極めて価値の高い前進です。