跳到正文
IFAI

開源專案

Wan-Animate-2:阿里開源動畫模型,一張圖讓任意角色隨影片起舞

首次發布 傳播指數 48

阿里巴巴開源角色動畫模型 Wan-Animate-2,使用者只需輸入一張角色圖片和一段參考影片,就能將動作、微表情和手指細節遷移到目標角色上,連非人角色和雙人場景也能支援。模型基於 Diffusion Transformer 實現端到端生成並支援視角控制,程式碼與權重均已開放。

Wan-Animate-2:阿里開源動畫模型,一張圖讓任意角色隨影片起舞
圖:github.com

Wan-Animate-2 是阿里巴巴開源的端到端角色動畫模型。只要準備一張任意角色的單張圖片和一段真人動作影片,它就能把影片裡的肢體動作、微表情甚至手指彎曲細節,完整搬到圖片裡的角色身上。

專案已經按 Apache 2.0 協議開源,包含推理程式碼、14B 基礎模型權重以及經過蒸餾的快速版本。

它能做什麼

傳統的照片動起來方案通常要先用 Pose 提取器抽骨骼線或者面部關鍵點,再拼進生成模型裡,過程中極容易丟掉細節。Wan-Animate-2 改寫了 Diffusion Transformer 架構,直接吃進參考影片和原圖進行端到端生成,大幅減少了身份崩壞和動作僵硬的問題。

它不僅能處理常規的人體軀幹動作,連手指、手勢和細微的面部表情也能精準還原。更實用的是,輸入角色不侷限於真人,像泰迪熊、擬人小貓這類非標準身材比例的形象照樣能驅動。

多角色支援也是一大看點。你可以輸入一張包含雙人的照片和雙人動作影片,讓模型分別對號入座;甚至可以用單人動作影片同時帶動畫面裡的多個角色做動作。

此外,它還加入了文本驅動的攝像機視角控制。哪怕參考影片是正面平拍,你也可以通過文字讓成片呈現出左側或右側的機位構圖,讓角色動作與鏡頭視角實現解耦。

怎麼跑起來與硬體門檻

Wan-Animate-2 開源了 Wan2.2-Animate-2-14B 基礎模型和 Distillation 蒸餾模型。蒸餾版只需 10 步取樣且無需無分類器引導,大幅提升了生成效率。團隊還展示了主打流式即時的 Wan-Animate-2-Lite,推理延遲壓到了 1 秒以內。

不過,要本地跑完整版對顯示卡要求相當高。官方預設配置針對 8 張 A800 最佳化,支援 720P 解析度輸出,在 2 張 A800 上可以測試 480P 生成。完整模型大約需要 33GB 磁碟空間,好在後續也推出了體積減半的 INT8 量化版本。

在軟體生態上,它已經接入了 Hugging Face Diffusers、DiffSynth-Studio 以及創作者最常用的 ComfyUI。不想折騰本地環境的使用者,也可以直接在 ModelScope Studio 體驗線上 Demo。

本地部署時,需要準備 Python 3.11 與 PyTorch 2.7 環境,安裝 flash-attn 後即可克隆倉庫。在正式推理前,需要先用大語言模型按固定模板提取圖片的客觀外觀與背景描述作為提示詞,隨後執行推理指令碼即可生成影片。

為什麼重要

Wan-Animate-2 最大的價值在於把複雜的角色動畫製作門檻徹底打平了。對獨立動畫人、遊戲美術和虛擬主播團隊來說,不需要昂貴的光學動捕裝置,用一段手機自拍就能快速把原畫資產變成活生生、能做精細手指動作的高畫質動畫。

和市面上頂尖的同類工具相比,它在端到端一致性和非人角色適配上做得非常出色。不過對普通玩家來說,14B 引數和高昂的視訊記憶體開銷依然是門檻,想要日常使用,可能還需要等待社群做進一步的輕量化剪裁,或者直接在雲端平臺上手。

來源 (1)

  1. [1]
    github.com(在新分頁開啟)原文github.com

每日 AI 內容精選