開源模型 CoDance:打破空間繫結,讓畫面中任意多角色同框起舞
研究團隊開源多主體動畫模型 CoDance,解決了角色與驅動姿態錯位就無法動起來的難題。它先解綁動作與空間位置,再通過文本和遮罩把動作精準指派給目標角色,無論畫面裡有幾個人、什麼畫風都能生成協調動畫。目前程式碼與權重已全部開源。
CoDance 是一個專注於多角色動態生成的開源動畫框架,能讓靜態圖片中的任意數量、不同風格的角色,順暢跟隨同一套驅動動作自然起舞。
在以往的單人角色動畫領域,AI 已經能做到不錯的還原,但遇到多主體同框時往往容易崩潰。核心癥結在於傳統方案往往依賴極度嚴苛的畫素級空間對齊,一旦輸入的參考影像與動作骨架在空間位置上稍有錯位,畫面就會出現肢體撕裂、動作混淆或角色變形。
把動作從位置中拆出來,再重新繫結
為了解決動作錯位和多角色干擾,CoDance 提出了一套「解綁-重綁」(Unbind-Rebind)機制。
第一步是解綁。系統設計了專門的姿態位移編碼器,在姿態序列和隱空間特徵中引入隨機擾動。這種擾動逼迫模型不再死記硬背角色應該出現在哪個絕對座標,而是提取出不受位置限制的純粹動作表徵。
第二步是重綁。提取出乾淨的動作後,Rebind 模組結合文本提示詞的語義指導,配合角色對應的空間遮罩,把動作精準分配給畫面中指定的各個角色。
即便輸入的是可能存在位置偏差的單套動作骨架序列,模型也能保證不同角色各就各位、協調運動,不會互相穿模或串味。
專屬評測基準與開放程度
為了驗證這套機制在複雜場景下的能力,研究團隊構建了專門的多主體評測基準 CoDanceBench,重點考察角色數量、風格差異以及空間排布對生成質量的影響。
測試結果顯示,CoDance 在常規公開資料集和 CoDanceBench 上均取得了同類最佳表現,在面對真人、卡通角色混合以及非對稱站位時展現出優秀的泛化能力。
目前專案的官方頁面已經上線,論文對應的完整程式碼與模型權重均已全部開源,開發者可以直接獲取並部署體驗。
為什麼重要
如果你是短影片創作者、虛擬偶像運營或動畫後期從業者,CoDance 非常值得一試。它徹底省去了過去為了讓多角色同框跳舞而必須手動逐幀校準位置、反覆摳圖合成的繁瑣步驟。
更重要的是,它為角色動畫模型提供了一條聰明的新思路:與其強行要求輸入素材與骨骼百分之百嚴絲合縫,不如主動打破死板的空間鎖定。這種位置無關的運動表徵方法,很可能會成為後續多智慧體互動和複雜群戲生成的標配範式。
來源 (1)
- lucaria-academy.github.io(在新分頁開啟)原文lucaria-academy.github.io