2D動画の1点を指定するだけで3次元の動きを追跡　「ProxyPose」公開

単眼の2D動画から物体の3次元的な位置と回転を高精度に追跡することは、長年コンピュータビジョンにおける難問でした。対象が透明なコップだったり、光を反射する金属だったり、途中で手などに大きく遮られたりすると、従来のアルゴリズムは容易に見失ってしまいます。

トロント大学の計算イメージンググループ（Toronto Computational Imaging Group）は、オープンソースの姿勢追跡システム「ProxyPose」を発表しました。本作はNeurIPS 2026にも採録されています。通常の2D動画を入力し、画面上の任意の1ピクセルをクリックするだけで、その物体の完全な6自由度（6-DoF）の3次元軌跡を割り出すことができます。

難解な物体を「カラー立方体」に置き換える

ProxyPoseのアプローチは極めてユニークです。捉えにくい実世界の対象を直接追跡するのではなく、動画生成モデルを用いたVideo-to-Video変換を挟みます。

ユーザーが指定した点をもとに、システムは対象の局所的な剛体運動と完全に同期して動く「カラー立方体」が映るプロキシ動画を生成します。幾何学的構造が既知でエッジが明確な立方体へと問題をすり替えてしまうわけです。

あとは古典的かつ高精度な幾何学手法であるPnP（Perspective-n-Point）アルゴリズムを適用するだけで、三次元の位置と回転が正確に逆算されます。

この工夫により、透明素材や強い反射、激しいオクルージョン（遮蔽）が生じる過酷な環境でも安定したトラッキングが可能になりました。HO3DやYCBInEOATといった標準ベンチマークにおいて、わずか1点の指定だけで最高水準の性能を記録しています。さらに、特徴点不足でCOLMAPが失敗する環境でのカメラ姿勢追跡や、人間の顔のような非剛体表面、イベントカメラやSPAD（単一光子アバランシェダイオード）による特殊映像にも追加学習なしで適用可能です。

Wan 2.1ベースの実装と生成モデル由来の課題

報告によると、ProxyPoseのバックボーンには動画モデル「Wan 2.1」が採用されています。ベースモデル全体は約30GBですが、立方体を生成するLoRAファイル自体は600MB程度に収まっており、低VRAMの一般向けGPUでも動かせる量子化バージョンも整備されています。

一方で、大規模な動画生成AIに依存しているがゆえの弱点も存在します。

例えばビー玉のレースのような極端に速い動きでは、動画モデルの変分オートエンコーダ（VAE）が追いつかずに輪郭がブレて追跡精度が落ちます。また、複雑に動く風船のように模様のない反射面では位置のドリフトが発生することがあり、水などの流体のように剛体として定義できない対象には原理的に対応できません。

なぜ重要か

私たちが注目すべきは、動画生成AIを単なるコンテンツ制作ではなく、空間認識のための「幾何学的翻訳ツール」として活用した点です。

大規模モデルが学習した物理世界の振る舞いを、扱いやすい3次元キューブという代理表現に変換して古典的な幾何学アルゴリズムに渡すという設計は極めてスマートです。ロボットのピッキング作業やAR空間のオブジェクト配置など、これまで高価なセンサーが必要だった領域を普通の単眼カメラ映像で置き換えられる可能性を示しています。

動画生成の処理負荷があるため即座にミリ秒単位のリアルタイム制御へ組み込むことは難しいものの、600MBのLoRAで一般の開発者も試せる敷居の低さは魅力的です。生成モデルの物理理解を計測に応用するこのアプローチは、今後の3Dビジョン研究に大きな影響を与えると考えられます。