阿里开源 Wan-Dancer-14B:听音乐就能跳舞,支持分钟级连贯长视频
阿里 Wan 团队开源舞蹈生成模型 Wan-Dancer-14B 及代码。它不需要参考动作视频,仅凭一段音乐和一张静态人像,就能生成节拍同步的分钟级舞蹈。最值得看的是它采用全局规划加局部精细化框架,已适配古典舞、街舞和 K-Pop 等多种风格。

Wan-Dancer-14B 是阿里 Wan 团队开源的音乐驱动舞蹈生成模型。给它一张人物静态图片和一段音频,它就能直接生成与音乐节拍同步、动作连贯的舞蹈视频,而且长度可以达到分钟级别。
以往市面上的舞蹈动画工具大多属于动作迁移,必须先有一段真人跳舞的视频作为动作参考,把骨架抽出来再套给新角色。Wan-Dancer 最大的不同在于它不需要任何动作参考视频,能直接理解音频里的节奏与风格,凭空为角色编排舞蹈。
它能做什么
只要准备一张人像和一段音频,Wan-Dancer 就能生成对应风格的舞蹈。目前它已经内置适配了多种舞种,包括中国古典舞、街舞、K-Pop、拉丁舞以及踢踏舞。
除了完全交给模型自由发挥,它还支持用户自己插入关键帧,用来精细控制角色在特定节点的动作姿态。
为了解决长视频容易崩坏的问题,模型采用了一套分层框架。它先把生成过程拆分成全局关键帧规划,吃进完整的音乐上下文来锁定长时序的动作走向;随后再通过局部精细化阶段提升分辨率并平滑动作,让角色在长达数分钟的视频里始终保持一致,避免形变漂移。
怎么跑起来
整个项目采用宽松的 Apache 2.0 许可证开源,目前推理代码、模型权重和论文均已放出。
在本地部署的门槛相对偏高。全部模型权重加起来大约有 85GB,需要一张显存充裕的高端 GPU 才能顺利跑起来。如果不打算在本地折腾环境,也可以直接去 Hugging Face Space 或 ModelScope Studio 上体验在线 Demo。
本地推理分为两步进行。先运行全局阶段脚本生成关键帧视频,再运行局部细化脚本生成最终的高清成片。根据开发团队的更新规划,后续还会加入对 ComfyUI 工作流的原生支持。
为什么重要
对于虚拟主播创作者、独立音乐人和动画制作者来说,Wan-Dancer 真正击中了痛点。以往制作一段长时序的角色跳舞视频,要么靠真人动捕,要么到处翻找契合节奏的参考视频,门槛很高。现在只要一首歌加一张图就能出片,大幅压缩了编舞与制作成本。
我们认为这一步走得相当漂亮,它跳过了机械式的动作复制,真正让视频模型开始理解音乐节拍与长时序肢体结构。不过 85GB 的体量对普通个人开发者依然不够友好,在更轻量的量化版本或更成熟的 ComfyUI 工作流落地之前,它目前更适合有高端显卡的工作室尝鲜。
来源 (1)
- huggingface.co(在新标签页打开)原文huggingface.co