3枚の写真で破綻しない動画を生成、美団が「WildActor」を公開

動画生成AIを触ったことがある人なら、誰しも同じ壁にぶつかったことがあるはずです。最初の1フレームは完璧に見えても、キャラクターが振り返った瞬間に別人の顔になり、服のデザインが勝手に変わり、激しい動きが入ると全身が背景に溶けてしまうという問題です。

激しい動きや自由なカメラアングルの中で特定の人物を破綻させずに維持することは、これまで極めて難しい課題でした。美団の研究チームが公開した「WildActor」は、まさにこの弱点を突いたプロジェクトです。国際会議ICML 2026に採択された本手法は、わずか3枚の参照写真を用意するだけで、構図や動きを制限することなく、顔や体型、衣装の一貫性を保った動画を生成できます。

3枚の写真で全身のアンカーを打つ

従来の人物一貫性ツールは、1枚の顔写真に依存するものが主流でした。そのためキャラクターが後ろを向いたり全身を動かしたりすると、後頭部や服の背面をモデルが勝手に想像してしまい、一気に破綻していました。

WildActorのアプローチは明快です。正面、側面、背面の3方向から撮影した標準参照画像を入力させることで、キャラクター全体の強固なアンカーを作ります。これにより、大きく回転したり走ったりするアクションでも、モデルが各アングルの特徴を正確に参照しながらフレームを紡ぎ出すことができます。

さらに実写の人物だけでなく、アニメ調やイラストのキャラクターにもそのまま対応している点が実用的です。アニメキャラの激しいアクションシーンでも、衣装や髪型が崩れません。

Wan2.2-5Bを基盤にした実用設計

研究チームは巨大な動画基盤モデルをゼロから作るのではなく、公開済みのオープンソースモデルWan2.2-5Bをバックボーンに採用しました。

推論コードはDiffSynth-Studioフレームワークと互換性があり、プロンプトと画像パスを指定したJSONファイルを用意してアダプター重みを読み込むだけで、手元で動かすことができます。

また推論環境だけでなく、データ構築パイプライン「Actor-18M」も同時に公開されました。一貫性のある単一人物動画のフィルタリングから、顔や身体の特徴抽出、3方向アングルの自動生成までをこなす設計になっており、研究者や開発者が独自のデータセットを整える際にも役立ちます。

なぜ重要か

個人の映像クリエイターやインディーゲーム開発者にとって、キャラクターの一貫性は「AI動画を仕事で使えるかどうか」を分ける最大のボトルネックでした。WildActorを使えば、三面図のような3枚の写真を用意するだけで、自由な演技を安定してキャラクターにさせることが可能になります。ショットごとに顔を修正する膨大な手間から解放される価値は非常に大きいです。

業界全体にとっても、美団が取ったアプローチは示唆に富んでいます。巨額のコストをかけてゼロから巨大モデルを学習し直すのではなく、既存のWan2.2-5Bに多視点制御アダプターを組み合わせる形を選んだことで、オープンソースコミュニティが最も導入しやすい形を実現しました。

手元のGPUリソースや公式アダプター重みの配布状況を追う必要はありますが、3枚の画像で動きの破綻を抑え込むこの手法は、今後のキャラ制御の標準になっていくと考えられます。