跳到正文
IFAI

開源專案

SCAIL-2 開源:支援多角色與動物動作遷移,打鬥場景也能穩住

首次發布 傳播指數 48

ZAI 開源影片動作遷移模型 SCAIL-2,無需中間骨架即可實現端到端角色動畫。它支援多角色大幅度打鬥與角色替換,甚至能把動作遷移給火烈鳥或誇張身材的異形生物。不過模型權重總計達 81GB,普通消費級顯示卡需要等待量化版本。

SCAIL-2 是 ZAI 開源的端到端影片動作遷移與角色動畫模型。它可以把你給的參考影片裡的動作,完整搬運到另一個全新角色身上,而且全程不需要經過中間骨架提取。

這意味著你不用再忍受傳統骨骼繫結識別不準、手腳錯亂或者動作僵硬的問題,直接實現從畫素到畫素的動作對映。

它能做什麼

最顯眼的能力是處理複雜的多角色互動。比如原始影片裡兩個人近身纏鬥、大幅度翻滾打鬥,SCAIL-2 能夠準確識別兩個角色的位置對應關係,把兩套動作同時搬到森林打鬥等新畫面裡,角色細節和動作幅度都能保持穩定。

它不僅能識別人類,還能做非人類動物的動作遷移。你可以把影片裡跳舞或走動的真人,直接替換成一隻火烈鳥,模型依然能把人類肢體動作合理轉換到鳥類骨架上。

對於身材比例極其怪異的動漫形象或體型胖碩的生物,它也能自動理解形體並完成合理的動作變形。此外,在角色替換和多角色模式下,它連原影片裡的鏡頭運鏡都能順帶保留下來,在鏡頭控制上甚至超過了部分閉源模型。

目前模型支援 512p 和 704p 解析度輸出,生成過程中很少出現畫面閃爍、壞手或結構撕裂的情況。

它是怎麼做到的

傳統的動作遷移工具大多依賴骨骼關鍵點作為中間人,一旦遇到遮擋、複雜動作或者動物,骨骼提取就會直接失效。

SCAIL-2 的做法是徹底繞過中間骨骼表示。開發團隊利用現有模型合成了 6 萬對動作資料,設計了一套包含兩類遮罩通道和專用 RoPE 位置編碼的統一動作遷移介面,並配合偏好對齊機制 Bias-Aware DPO 來拉高細節表現。

它用不同的遮罩顏色來告訴模型哪裡是背景、哪裡是角色對應關係,從而做到端到端的上下文驅動,甚至支援零樣本多視角參考圖輸入。

怎麼跑起來與硬體門檻

專案已經在 GitHub 開源,包含完整的推理程式碼、訓練程式碼以及 ComfyUI 外掛支援。

不過想要在本地跑起來,門檻相當高。Hugging Face 倉庫裡集成了 Wan VAE 和 T5 等必要模組,打包下載的總大小達到了 81GB。

對於絕大多數使用消費級顯示卡的個人開發者來說,目前的視訊記憶體壓力非常大,建議等待社群後續推出量化版或 GGUF 權重再進行本地部署。官方同時也提供了訓練程式碼分支,方便有算力條件的使用者微調。

為什麼重要

對於動畫師、遊戲開發者和獨立影片創作者來說,SCAIL-2 跨越了動作遷移裡最折磨人的一關。過去把人類動作套給怪物或動物,往往需要繁瑣的動捕重定向和手動修幀,現在用開源模型就能端到端跑出高可用原型。

和閉源工具相比,它的運鏡還原和多角色纏鬥表現絲毫不落下風。雖然 81GB 的體積把大多數單卡玩家擋在了門外,但只要社群完成輕量化改造,它很可能會成為開源影片生成工作流裡的標配動作引擎。

來源 (1)

  1. [1]

每日 AI 內容精選