WildActor:用 3 张参考图搞定视频人物一致性,动作再大也不走样
美团团队开源人物视频生成项目 WildActor,支持通过 3 张参考图实现多视角身份保持。它适配开源模型 Wan2.2-5B,无论真人还是卡通角色,在大幅动作下都能维持面部与服装高度一致,并同步开源了 Actor-18M 数据管线。
玩过 AI 视频生成的朋友大概都遇到过这种尴尬:提示词里写得清清楚楚,画面一开始也很惊艳,结果人物一转头脸就变了,走两步衣服换了样式,要是动作稍微剧烈一点,整个人甚至直接融化在背景里。
AI 视频一直很难在复杂大动作下锁死人物身份。美团团队最近开源的 WildActor,就是专门冲着这个痛点来的。该研究已被 ICML 2026 接收,核心就是通过 3 张参考照片,在不受限的视角、构图和大幅动作下,让人物的外貌、五官细节和衣服穿搭从头到尾保持高度一致。
3 张照片定住全身细节
以往很多人做视频角色一致性,要么只抓一张大头照,导致人物转身就露馅;要么需要微调一整个模型,成本高而且泛化极差。
WildActor 的思路很直接:它要求输入 3 张包含正面、侧面和背面的参考图,作为角色的标准多视角身份锚点。有了这套全方位的参考,模型在生成大幅度转身、奔跑或者跳跃时,就能随时检索到对应的视角特征,不会凭空乱猜后脑勺或者衣服背面的花纹。
更实用的是,这套机制不仅能处理真人实拍风格,对二次元或者卡通角色的兼容性同样很好。只要给齐多视角参考,卡通人物做复杂动作也不会出现常见的崩坏问题。
搭在 Wan2.2-5B 上的轻量推理
在底层实现上,研究团队没有重新训练一个庞大的视频基座,而是选择了开源的 Wan2.2-5B 作为公开视频骨干网络。
WildActor 的推理代码兼容 Wan2.2-5B 和 DiffSynth-Studio 框架。用户只需要在请求文件里填入提示词和参考图片路径,再挂载专门的 adapter 适配器权重,就能直接跑出高一致性的视频演示。
除了推理代码,团队这次还同步放出了名为 Actor-18M 的数据构建管线。这套工具可以自动筛选一致的单人视频,提取人脸和身体特征,甚至能自动扩充属性多样性并生成规范的正侧背三视角标注,为下游训练提供标准化的数据支持。
为什么重要
对创作者和独立开发者来说,WildActor 解决的是 AI 视频走向实用叙事的最关键一环。过去做连续分镜或短剧,创作者为了让同一个主角在不同镜头里不换脸,往往要花大量时间去抽卡修图;现在只要准备好 3 张定妆照,就能直接驱使角色完成复杂的表演,这大幅降低了连贯视频内容的制作门槛。
从技术路线上看,美团团队的做法非常务实。他们没有卷从头预训练大模型的高昂成本,而是把重点放在了高难度的多视角身份控制和高质量数据管线上,并将其挂载到成熟的开源 5B 模型上。我们认为,这种模块化、即插即用的 adapter 方案,很可能会成为后续开源社区做垂直角色控制的标准解法。
不过目前 WildActor 的完整可用性依然取决于官方 adapter 权重的释出节奏以及消费级显卡的显存开销。但在人物一致性这个核心战场上,用 3 张图解决全身一致性的思路,已经给行业提供了一个足够清晰的解题范式。
来源 (1)
- github.com(在新标签页打开)原文github.com