跳到正文
IFAI

开源项目

开源模型 CoDance:打破空间绑定,让画面中任意多角色同框起舞

首次发布 传播指数 48

研究团队开源多主体动画模型 CoDance,解决了角色与驱动姿态错位就无法动起来的难题。它先解绑动作与空间位置,再通过文本和遮罩把动作精准指派给目标角色,无论画面里有几个人、什么画风都能生成协调动画。目前代码与权重已全部开源。

图:lucaria-academy.github.io

CoDance 是一个专注于多角色动态生成的开源动画框架,能让静态图片中的任意数量、不同风格的角色,顺畅跟随同一套驱动动作自然起舞。

在以往的单人角色动画领域,AI 已经能做到不错的还原,但遇到多主体同框时往往容易崩溃。核心症结在于传统方案往往依赖极度严苛的像素级空间对齐,一旦输入的参考图像与动作骨架在空间位置上稍有错位,画面就会出现肢体撕裂、动作混淆或角色变形。

把动作从位置中拆出来,再重新绑定

为了解决动作错位和多角色干扰,CoDance 提出了一套「解绑-重绑」(Unbind-Rebind)机制。

第一步是解绑。系统设计了专门的姿态位移编码器,在姿态序列和隐空间特征中引入随机扰动。这种扰动逼迫模型不再死记硬背角色应该出现在哪个绝对坐标,而是提取出不受位置限制的纯粹动作表征。

第二步是重绑。提取出干净的动作后,Rebind 模块结合文本提示词的语义指导,配合角色对应的空间遮罩,把动作精准分配给画面中指定的各个角色。

即便输入的是可能存在位置偏差的单套动作骨架序列,模型也能保证不同角色各就各位、协调运动,不会互相穿模或串味。

专属评测基准与开放程度

为了验证这套机制在复杂场景下的能力,研究团队构建了专门的多主体评测基准 CoDanceBench,重点考察角色数量、风格差异以及空间排布对生成质量的影响。

测试结果显示,CoDance 在常规公开数据集和 CoDanceBench 上均取得了同类最佳表现,在面对真人、卡通角色混合以及非对称站位时展现出优秀的泛化能力。

目前项目的官方页面已经上线,论文对应的完整代码与模型权重均已全部开源,开发者可以直接获取并部署体验。

为什么重要

如果你是短视频创作者、虚拟偶像运营或动画后期从业者,CoDance 非常值得一试。它彻底省去了过去为了让多角色同框跳舞而必须手动逐帧校准位置、反复抠图合成的繁琐步骤。

更重要的是,它为角色动画模型提供了一条聪明的新思路:与其强行要求输入素材与骨骼百分之百严丝合缝,不如主动打破死板的空间锁定。这种位置无关的运动表征方法,很可能会成为后续多智能体互动和复杂群戏生成的标配范式。

来源 (1)

  1. [1]
    lucaria-academy.github.io(在新标签页打开)原文lucaria-academy.github.io

每日 AI 内容精选