跳到正文
IFAI

开源项目

SCAIL-2 开源:支持多角色与动物动作迁移,打斗场景也能稳住

首次发布 传播指数 48

ZAI 开源视频动作迁移模型 SCAIL-2,无需中间骨架即可实现端到端角色动画。它支持多角色大幅度打斗与角色替换,甚至能把动作迁移给火烈鸟或夸张身材的异形生物。不过模型权重总计达 81GB,普通消费级显卡需要等待量化版本。

SCAIL-2 是 ZAI 开源的端到端视频动作迁移与角色动画模型。它可以把你给的参考视频里的动作,完整搬运到另一个全新角色身上,而且全程不需要经过中间骨架提取。

这意味着你不用再忍受传统骨骼绑定识别不准、手脚错乱或者动作僵硬的问题,直接实现从像素到像素的动作映射。

它能做什么

最显眼的能力是处理复杂的多角色交互。比如原始视频里两个人近身缠斗、大幅度翻滚打斗,SCAIL-2 能够准确识别两个角色的位置对应关系,把两套动作同时搬到森林打斗等新画面里,角色细节和动作幅度都能保持稳定。

它不仅能识别人类,还能做非人类动物的动作迁移。你可以把视频里跳舞或走动的真人,直接替换成一只火烈鸟,模型依然能把人类肢体动作合理转换到鸟类骨架上。

对于身材比例极其怪异的动漫形象或体型胖硕的生物,它也能自动理解形体并完成合理的动作变形。此外,在角色替换和多角色模式下,它连原视频里的镜头运镜都能顺带保留下来,在镜头控制上甚至超过了部分闭源模型。

目前模型支持 512p 和 704p 分辨率输出,生成过程中很少出现画面闪烁、坏手或结构撕裂的情况。

它是怎么做到的

传统的动作迁移工具大多依赖骨骼关键点作为中间人,一旦遇到遮挡、复杂动作或者动物,骨骼提取就会直接失效。

SCAIL-2 的做法是彻底绕过中间骨骼表示。开发团队利用现有模型合成了 6 万对动作数据,设计了一套包含两类遮罩通道和专用 RoPE 位置编码的统一动作迁移接口,并配合偏好对齐机制 Bias-Aware DPO 来拉高细节表现。

它用不同的遮罩颜色来告诉模型哪里是背景、哪里是角色对应关系,从而做到端到端的上下文驱动,甚至支持零样本多视角参考图输入。

怎么跑起来与硬件门槛

项目已经在 GitHub 开源,包含完整的推理代码、训练代码以及 ComfyUI 插件支持。

不过想要在本地跑起来,门槛相当高。Hugging Face 仓库里集成了 Wan VAE 和 T5 等必要模块,打包下载的总大小达到了 81GB。

对于绝大多数使用消费级显卡的个人开发者来说,目前的显存压力非常大,建议等待社区后续推出量化版或 GGUF 权重再进行本地部署。官方同时也提供了训练代码分支,方便有算力条件的用户微调。

为什么重要

对于动画师、游戏开发者和独立视频创作者来说,SCAIL-2 跨越了动作迁移里最折磨人的一关。过去把人类动作套给怪物或动物,往往需要繁琐的动捕重定向和手动修帧,现在用开源模型就能端到端跑出高可用原型。

和闭源工具相比,它的运镜还原和多角色缠斗表现丝毫不落下风。虽然 81GB 的体积把大多数单卡玩家挡在了门外,但只要社区完成轻量化改造,它很可能会成为开源视频生成工作流里的标配动作引擎。

来源 (1)

  1. [1]

每日 AI 内容精选