Mocap Anything v2公開：普通の単眼動画から任意の3D骨格アニメーションを生成

3Dキャラクターのモーションキャプチャは、これまで莫大なコストがかかる作業でした。人間なら高価なスーツを着たりスタジオに入れば済みますが、四足歩行の動物や架空のモンスターとなると、アニメーターが手作業でキーフレームを打ち続けるしかありませんでした。

単眼の通常動画から任意の骨格アニメーションを直接生成できる「Mocap Anything v2」がオープンソースとして公開されました。

人間だけでなく、動物や風変わりな四肢を持つ架空の生物の映像であっても、3Dモデルにそのまま適用可能なクリーンな骨格回転を抽出できます。GitHub上には実行コードだけでなく、学習用スクリプトも揃っています。

2段階処理を捨て、完全なエンドツーエンド学習へ

従来の単眼動画からの姿勢推定ツールは、処理を2段階に分けていました。

まず動画から関節の3次元位置を予測し、その位置情報を基に従来の逆運動学（IK）アルゴリズムを使って関節の回転角度を計算していました。しかし、位置が分かっても骨の軸周りのねじれなどは一意に定まりません。さらに、従来のIKステージは学習不可能（微分不可）だったため、誤差を自己修正できず、関節が不自然に裏返ったり激しくブレたりする現象が頻発していました。

Mocap Anything v2は、位置予測から回転算出までを完全に1つの学習可能モデルに統合した初のエンドツーエンドフレームワークです。対象アセットのレストポーズと参照ポーズ・回転ペアを入力することで座標系の基準を固定し、回転の曖昧さを解消しました。

また、処理の途中で重たい3Dメッシュを生成せず動画から直接関節を予測し、骨格構造を考慮した独自のグラフ誘導型マルチヘッドアテンション（GL-GMHA）を採用しています。この結果、Truebones Zooなどの検証において回転誤差は約17度から約10度へと縮小し、未知の骨格でも6.54度を達成。推論速度もメッシュ依存の手法に比べて約20倍高速化しました。

なぜ重要か

個人開発者やインディースタジオにとって、異形クリーチャーや動物のアニメーション制作のハードルが根本から崩れました。

専門のキャプチャ設備を用意しなくても、手持ちのペット動画や既存の実写クリップから自然な骨格の動きを吸い上げ、BlenderやMayaにそのまま流し込めるようになります。

業界全体にとっても実用的な進歩です。これまでのAIアニメーション生成は、プレビューでは良く見えても、リグに接続した途端に関節が破綻して使えないケースが多々ありました。Mocap Anything v2は最初から制作現場で求められる「正確な関節回転」の出力を目指して設計されています。

中途半端な3Dメッシュ再構築を潔く省き、アニメーションパイプライン直結の回転データに絞り込んだ設計は非常に賢い判断だと考えられます。利用にはターゲットモデルの基本姿勢（レストポーズ）データが必要なため完全な初心者には少し予備知識が求められますが、コードと学習スクリプトが手に入る現在、映像・ゲーム制作者ならすぐに試す価値があります。