Wan-Animate-2:阿里开源动画模型,一张图让任意角色随视频起舞
阿里巴巴开源角色动画模型 Wan-Animate-2,用户只需输入一张角色图片和一段参考视频,就能将动作、微表情和手指细节迁移到目标角色上,连非人角色和双人场景也能支持。模型基于 Diffusion Transformer 实现端到端生成并支持视角控制,代码与权重均已开放。

Wan-Animate-2 是阿里巴巴开源的端到端角色动画模型。只要准备一张任意角色的单张图片和一段真人动作视频,它就能把视频里的肢体动作、微表情甚至手指弯曲细节,完整搬到图片里的角色身上。
项目已经按 Apache 2.0 协议开源,包含推理代码、14B 基础模型权重以及经过蒸馏的快速版本。
它能做什么
传统的照片动起来方案通常要先用 Pose 提取器抽骨骼线或者面部关键点,再拼进生成模型里,过程中极容易丢掉细节。Wan-Animate-2 改写了 Diffusion Transformer 架构,直接吃进参考视频和原图进行端到端生成,大幅减少了身份崩坏和动作僵硬的问题。
它不仅能处理常规的人体躯干动作,连手指、手势和细微的面部表情也能精准还原。更实用的是,输入角色不局限于真人,像泰迪熊、拟人小猫这类非标准身材比例的形象照样能驱动。
多角色支持也是一大看点。你可以输入一张包含双人的照片和双人动作视频,让模型分别对号入座;甚至可以用单人动作视频同时带动画面里的多个角色做动作。
此外,它还加入了文本驱动的摄像机视角控制。哪怕参考视频是正面平拍,你也可以通过文字让成片呈现出左侧或右侧的机位构图,让角色动作与镜头视角实现解耦。
怎么跑起来与硬件门槛
Wan-Animate-2 开源了 Wan2.2-Animate-2-14B 基础模型和 Distillation 蒸馏模型。蒸馏版只需 10 步采样且无需无分类器引导,大幅提升了生成效率。团队还展示了主打流式实时的 Wan-Animate-2-Lite,推理延迟压到了 1 秒以内。
不过,要本地跑完整版对显卡要求相当高。官方默认配置针对 8 张 A800 优化,支持 720P 分辨率输出,在 2 张 A800 上可以测试 480P 生成。完整模型大约需要 33GB 磁盘空间,好在后续也推出了体积减半的 INT8 量化版本。
在软件生态上,它已经接入了 Hugging Face Diffusers、DiffSynth-Studio 以及创作者最常用的 ComfyUI。不想折腾本地环境的用户,也可以直接在 ModelScope Studio 体验在线 Demo。
本地部署时,需要准备 Python 3.11 与 PyTorch 2.7 环境,安装 flash-attn 后即可克隆仓库。在正式推理前,需要先用大语言模型按固定模板提取图片的客观外观与背景描述作为提示词,随后运行推理脚本即可生成视频。
为什么重要
Wan-Animate-2 最大的价值在于把复杂的角色动画制作门槛彻底打平了。对独立动画人、游戏美术和虚拟主播团队来说,不需要昂贵的光学动捕设备,用一段手机自拍就能快速把原画资产变成活生生、能做精细手指动作的高清动画。
和市面上顶尖的同类工具相比,它在端到端一致性和非人角色适配上做得非常出色。不过对普通玩家来说,14B 参数和高昂的显存开销依然是门槛,想要日常使用,可能还需要等待社区做进一步的轻量化剪裁,或者直接在云端平台上手。
来源 (1)
- github.com(在新标签页打开)原文github.com