アリババが「Wan-Dancer-14B」公開：音楽から長尺ダンス動画を直接生成

Wan-Dancer-14B は、アリババの Wan チームがオープンソース化した音楽駆動型のダンス動画生成モデルです。人物の静止画 1 枚と音源を与えるだけで、音楽のリズムに完全に同期した分単位の長尺ダンス映像を生成できます。

従来のダンス生成ツールの多くは、人間が踊るお手本動画から骨格を抽出してキャラクターに適用するモーション転送方式でした。Wan-Dancer の最大の特徴は、そうした参考動画を一切必要とせず、音楽のテンポや曲調を直接解釈してオリジナルの振り付けをゼロから生み出せる点にあります。

できること

Wan-Dancer は、ヒップホップ、中国古典舞踊、K-Pop、ラテンダンス、タップダンスなど、多岐にわたるジャンルに対応しています。

全自動で踊らせるだけでなく、特定のタイミングにキーフレームを挿入して、狙ったポーズを取らせる詳細な演出制御も可能です。

長尺動画の破綻を防ぐため、仕組みには階層的フレームワークを採用しています。まず楽曲全体の文脈を読み取って大局的なキーフレームを計画し、その後に局所的な高解像度化と時間的補正を行う 2 段階のパイプラインにより、数分間にわたってキャラクターの崩れを防ぎます。

動かし方とスペック

プロジェクト全体が Apache 2.0 ライセンスで公開されており、推論コード、モデルの重み、論文がすべて揃っています。

ただし、ローカル環境での実行ハードルは高めです。ダウンロードする重みの総容量は約 85GB に達し、潤沢な VRAM を備えたハイエンド GPU が求められます。手軽に試したい場合は、Hugging Face Space や ModelScope Studio に用意されたオンラインデモを利用するのが確実です。

推論はグローバル段階とローカル精細化段階の 2 つのスクリプトを順に実行する構成で、ロードマップには ComfyUI への統合も盛り込まれています。

なぜ重要か

VTuber や個人アニメーション作家、音楽クリエイターにとって、お手本動画なしで音楽から直接ダンス映像を組み立てられる価値は絶大です。モーションキャプチャ機材や素材動画を探す手間を大幅に削ることができます。

音楽理解と長尺動画の一貫性を同時に前進させた設計は見事です。一方で、85GB というサイズは一般的な個人の制作環境には重すぎるため、実務で広く使われるようになるには、軽量な量子化版や ComfyUI の対応を待つ必要があるでしょう。