骨格に縛られない動作転送「Motion4Motion」：キツネの動きもキリンへ移植

人物のダンス動画を別のキャラクターに差し替える技術は珍しくなくなりましたが、それには常に「同じような体型と骨格を持っていること」という暗黙の前提がありました。

俊敏に駆け回るキツネの動きを、極端に首の長いキリンへ移し替えようとすれば、従来のツールは即座に破綻してしまいます。既存の技術が人間の骨格テンプレートに依存しすぎていたためです。

研究チームはそうした骨格の制約を完全に排除した動画動作転送フレームワーク「Motion4Motion」を発表しました。

骨格を捨て、ピクセル単位の動きを捉える

従来のモーション転送パイプラインは、ControlNet などの姿勢推定を使って骨格を抽出し、対象キャラクターに無理やり流し込む手法が主流でした。

しかし、現実世界の動物たちは種ごとに身体の構造が全く異なります。キツネとキリンの双方に適合する共通の骨格テンプレートなど存在せず、異種間での動作データセットも極めて不足していました。

Motion4Motion は発想を根本から変え、骨格そのものを参照しないアプローチを選びました。モデルが追跡するのは、動画内の高密度なピクセル単位の動作フローです。

元動画の中で複数の点をトラッキングして動的なフローマップを生成し、TransPE と呼ばれるモジュールを介して対象キャラクターの対応する位置へとマッピングします。その座標データを動画生成モデルへ注入することで、新しい動作を作り出します。

骨組みやセグメンテーション画像に縛られないため、プロポーションがかけ離れた動物同士でも、違和感のない動きの移植が成立します。

追加のモデル学習は一切不要

さらに特筆すべきは、Motion4Motion が追加学習を一切必要としない（training-free）フレームワークであるという点です。

膨大なマルチモーダルデータを集めて事前学習し直す必要もなければ、入力動画ごとにパラメータを最適化し直す手間もかかりません。すべての処理が推論フェーズだけで完結します。

キツネからキリンへの転送といった極端な難題だけでなく、一般的なダンス動作や多種多様な背景環境においても、既存のベースライン手法を大きく上回る転送品質を実証しました。

プロジェクトページ（lhchen.top/Motion4Motion/）では論文や生成結果のサンプルが公開されています。

なぜ重要か

3D アニメーションやゲーム制作において、非人型キャラクターの骨格設定やリギングは常に膨大な工数を要する専門分野でした。

Motion4Motion は、複雑な骨格データを組むことなく、参考映像さえあれば異形のクリーチャーや動物にリアルな生命感を吹き込める可能性を示しています。個人クリエイターにとって、制作コストを劇的に下げる強力な武器になり得ます。

業界全体から見ても、動作制御＝ControlNet や姿勢推定という固定観念を崩した意義は大きいです。異種間の動作データ不足という壁を、ピクセル流の推論時マッピングというアプローチで回避した点は非常に合理的だと考えられます。

全く異なる骨格構造を持つ対象同士を破綻なく繋ぎ合わせた今回の試みは、今後の動画生成 AI における運動制御の自由度を一段階引き上げるマイルストーンになるはずです。