Viggle 开源 Viggle-Animate：只改一帧画面，就能替完整段视频角色

Viggle-Animate 是一个让你只改动一帧画面，就能把整段视频主角完全换掉的开源视频工具。

你只需要找一段目标视频，随便挑一帧导出来，用 Photoshop 或者 AI 生图工具把里面的角色重绘成你想换的新形象。接着把改好的单帧和原视频一起喂给模型，它就会自动把原视频里的一切动作、走位和镜头运动，严丝合缝地套到新角色身上。

扔掉骨骼和蒙版，快动作也不糊

传统的视频换角工具非常折腾，你通常得先跑一遍姿态估计提骨骼，再跑分割模型抠人像蒙版，最后还要做面部追踪，中间任何一个环节丢了细节，成片就会崩掉。

Viggle-Animate 彻底扔掉了这些脚手架。它既不需要提取骨骼，也不用画遮罩蒙版，甚至在生成视频时完全不加载文本编码器，纯靠原视频的几何运动和那张重绘单帧的外貌特征来生成。

因为你挑的那一帧原本就在镜头里，它的姿态、光影和机位天生就和视频完全匹配，模型不用再去猜光线怎么打。即便是甩头、飞踢、空翻这种传统模型极容易拉丝糊成一片的快速运动，它也能逐帧咬住，动作给得非常扎实。

更有意思的是它的泛化能力。由于模型底层完全没有「人必须有人形骨架」的先验设定，换角的对象不局限于人类。官方演示里不仅能换成带爪子的动物、黏土定格角色，甚至还能把一架客机套在跳舞的人身上，让机翼跟着手臂一起挥动。

蒸馏到 3 步，单卡 26 秒出片

整个项目的技术底座，是对开源视频模型 MiniMax-H3 的 ref2va transformer 进行了 33.1B 参数的全量微调，再联合 DMD 蒸馏成了仅需 3 次前向传播的采样流程。

在单张 B200 GPU 上跑一段 480×832 分辨率、124 帧（约 5.2 秒）的片段，权重加载完成后渲染只要 26 秒。对比同样设定下的 Wan2.2-Animate-14B，后者需要 40 次前向传播、耗时 160 秒，Viggle-Animate 的渲染速度整整快了 6.1 倍，纯采样环节甚至快了 10 倍以上。

不过，目前的硬件门槛依然不低。开源仓库主要包含大约 66GB 的微调模型权重，以及一个 2.5GB 的 DMD2 LoRA。由于未量化的模型体积庞大，跑 bf16 精度至少需要一张 96GB 显存的高性能显卡；如果显存不够，就必须加上 CPU offload，速度会慢上一大截。官方虽然在 32GB 的 RTX 5090 上跑通了 NVFP4 量化版，但那套脚本目前还没合并进公开仓库。

此外，它在处理多人强交互、镜头切镜时表现会下降。关于大家关心的对口型问题，官方发现只要加上 `--audio` 参数，把原视频的音频通过音频 VAE 作为潜空间约束输入，新角色的嘴型就能精准贴合台词。

现在该项目的代码和模型权重已经上线 Hugging Face，社区也跟进了 ComfyUI 节点，想尝鲜的创作者可以直接在网页端体验 demo。

为什么重要

这套思路给视频编辑换了一条极聪明的解题捷径。过去大家总想用一个复杂的视频大模型把「新角色长什么样」和「角色怎么动」两件事一起做完，结果算力开销巨大，边缘还经常穿模变形。

Viggle-Animate 的做法很讨巧：它把最难的单张图像质感、光影对齐扔给成熟的生图模型去解，视频模型只专注做一件事，就是把那一帧的修改顺滑地扩散到整段视频里。对影视二创、动画概念设计和特效团队来说，只要你有耐心修精一张静帧，就能极低成本撬动整段高质量动态，工作流被大幅压缩了。