Wan-Animate-2：画像と動画から高精度アニメーションを生成するオープンソースモデル

アリババは、静止画と動画から高品質なキャラクターアニメーションを生成するオープンソースモデル「Wan-Animate-2」を公開しました。1枚のキャラクター画像と手本となる参考動画を用意するだけで、全身の動き、指先の細かな仕草、顔の微細な表情までをターゲット画像に高精度で転写します。

本プロジェクトは Apache 2.0 ライセンスで公開されており、推論コード、14B ベースモデル、蒸留モデルの重みが提供されています。

できること

従来の画像アニメーション化手法は、骨格推定やランドマーク抽出といった中間表現を挟むことが多く、キャラクターの同一性が崩れたり動きが不自然になったりしがちでした。Wan-Animate-2 は Diffusion Transformer の構造を再設計し、参考動画と元画像を直接エンドツーエンドで処理することで、破綻の少ない安定した生成を実現しています。

大きな体動だけでなく、指の細かい屈伸や微妙な表情の変化まで忠実に再現可能です。また、対象は人間に限らず、テディベアやデフォルメされた動物など、通常とは異なる体型比率のキャラクターも自然に動かすことができます。

複数キャラクターへの対応も強みです。2人が映った画像と動画を入力してそれぞれに動きを割り当てることも、1人の動画から画像内の複数人を同時に動かすことも可能です。さらにテキストによるカメラ視点制御も備えており、参考動画のアングルに縛られず、左右など好みの視点から映像を出力できます。

動作環境と導入方法

公開されたモデルには Wan2.2-Animate-2-14B ベース版と、CFG なし 10 ステップで生成できる蒸留版が含まれます。また、ストリーミング向けに遅延を1秒未満に抑えた軽量版 Wan-Animate-2-Lite も開発されています。

フルサイズで動かす場合のハードウェア要件はかなり高めです。標準設定は 8 基の A800 GPU を用いた 720P 生成向けに調整されており、480P 生成でも 2 基の A800 が目安とされています。モデル全体のサイズは約 33GB ですが、容量を半減させた INT8 量子化版も用意されています。

エコシステム面では、Hugging Face Diffusers、DiffSynth-Studio、ComfyUI に対応済みです。ローカル環境を構築せずに試したい場合は、ModelScope Studio 上のオンラインデモを利用できます。

ローカルで実行する場合は、Python 3.11 と PyTorch 2.7 の環境を整えてリポジトリをクローンし、flash-attn などの依存ライブラリを導入します。推論前に大規模言語モデルを使って画像の外見や背景のテキスト説明文を作成し、それをプロンプトとして渡すことでアニメーション動画を出力します。

なぜ重要か

Wan-Animate-2 は、高価なモーションキャプチャ機材を使わずに、スマホで撮った動画からイラストや画像を躍動させられる画期的なツールです。個人クリエイターやゲーム開発者、VTuber 運営者にとって、静止画アセットを短時間で表情豊かなアニメーション素材へ変換できる実用的な手段になります。

骨格検出を省いたエンドツーエンド構造により、既存の有力ツールと肩を並べる高い表現力と自然さを達成しています。一方で 14B のパラメータ規模は一般的なローカル環境には重すぎるため、一般ユーザーが快適に扱うには INT8 量子化やクラウド環境、あるいは今後のさらなる軽量化バージョンの登場を待つのが現実的です。