複数キャラを破綻なく動かす動画生成モデル「CoDance」がオープンソース化

CoDance は、静止画に含まれる任意の人数・画風のキャラクターを、ひとつの動作シーケンスに沿って自然に踊らせることができるオープンソースのアニメーションフレームワークです。

従来の画像アニメーション技術は単体の人物生成には長けていましたが、複数キャラが並ぶシーンや位置ズレには弱いという課題がありました。ポーズと画像のピクセル座標を厳格に一致させようとする設計が原因で、配置が少しズレるだけで手足の破綻や誤作動が起きていました。

位置の束縛を解き、目的のキャラへ再割り当てする

この制約を解消するため、CoDance は「分離と再結合」（Unbind-Rebind）という仕組みを採用しました。

まず Unbind モジュールが機能します。ポーズシフトエンコーダが骨格データや潜在特徴量にあえてランダムな揺らぎを加えることで、特定の位置座標に依存しない純粋な動作表現をモデルに学習させます。

次に Rebind モジュールが、その動作を各キャラクターへ正確に割り当てます。テキスト指示による意味情報と、各キャラクターの領域を示すマスクを活用することで、狙った対象だけに正しい動作を反映させます。

これにより、位置が揃っていない単一のポーズ素材からでも、複数キャラクターが破綻なく連動する動画を作り出せます。

評価ベンチマークとオープンソース化

研究チームは複数キャラのアニメーション性能を客観的に測るため、独自の評価基準「CoDanceBench」を整備しました。

検証実験では既存のデータセットおよび CoDanceBench の双方で最高水準のスコアを記録し、多様なキャラタイプや変則的な立ち位置に対しても優れた適応力を示しました。

現在、プロジェクトのコードと学習済みモデルの重みは公式に公開されており、誰でも環境を構築して利用できます。

なぜ重要か

動画クリエイターやバーチャルキャラクターを扱う開発者にとって、試す価値の高いツールです。これまで複数人を同時に踊らせるには、個別に生成して合成するか、立ち位置を極限まで手動調整する必要がありました。

位置と動作をあらかじめ切り離して再マッピングするという設計は実用的で、位置ズレに寛容です。今後の群衆アニメーションや複数エージェントの映像表現において、標準的なアプローチとして定着しそうです。