跳到正文
IFAI

AIGC

阿里開源 Wan-Dancer-14B:聽音樂就能跳舞,支援分鐘級連貫長影片

首次發布 傳播指數 41

阿里 Wan 團隊開源舞蹈生成模型 Wan-Dancer-14B 及程式碼。它不需要參考動作影片,僅憑一段音樂和一張靜態人像,就能生成節拍同步的分鐘級舞蹈。最值得看的是它採用全域性規劃加區域性精細化框架,已適配古典舞、街舞和 K-Pop 等多種風格。

阿里開源 Wan-Dancer-14B:聽音樂就能跳舞,支援分鐘級連貫長影片
圖:huggingface.co

Wan-Dancer-14B 是阿里 Wan 團隊開源的音樂驅動舞蹈生成模型。給它一張人物靜態圖片和一段音訊,它就能直接生成與音樂節拍同步、動作連貫的舞蹈影片,而且長度可以達到分鐘級別。

以往市面上的舞蹈動畫工具大多屬於動作遷移,必須先有一段真人跳舞的影片作為動作參考,把骨架抽出來再套給新角色。Wan-Dancer 最大的不同在於它不需要任何動作參考影片,能直接理解音訊裡的節奏與風格,憑空為角色編排舞蹈。

它能做什麼

只要準備一張人像和一段音訊,Wan-Dancer 就能生成對應風格的舞蹈。目前它已經內建適配了多種舞種,包括中國古典舞、街舞、K-Pop、拉丁舞以及踢踏舞。

除了完全交給模型自由發揮,它還支援使用者自己插入關鍵幀,用來精細控制角色在特定節點的動作姿態。

為了解決長影片容易崩壞的問題,模型採用了一套分層框架。它先把生成過程拆分成全域性關鍵幀規劃,吃進完整的音樂上下文來鎖定長時序的動作走向;隨後再通過區域性精細化階段提升解析度並平滑動作,讓角色在長達數分鐘的影片裡始終保持一致,避免形變漂移。

怎麼跑起來

整個專案採用寬鬆的 Apache 2.0 許可證開源,目前推理程式碼、模型權重和論文均已放出。

在本地部署的門檻相對偏高。全部模型權重加起來大約有 85GB,需要一張視訊記憶體充裕的高階 GPU 才能順利跑起來。如果不打算在本地折騰環境,也可以直接去 Hugging Face Space 或 ModelScope Studio 上體驗線上 Demo。

本地推理分為兩步進行。先執行全域性階段指令碼生成關鍵幀影片,再執行區域性細化指令碼生成最終的高畫質成片。根據開發團隊的更新規劃,後續還會加入對 ComfyUI 工作流的原生支援。

為什麼重要

對於虛擬主播創作者、獨立音樂人和動畫製作者來說,Wan-Dancer 真正擊中了痛點。以往製作一段長時序的角色跳舞影片,要麼靠真人動捕,要麼到處翻找契合節奏的參考影片,門檻很高。現在只要一首歌加一張圖就能出片,大幅壓縮了編舞與製作成本。

我們認為這一步走得相當漂亮,它跳過了機械式的動作複製,真正讓影片模型開始理解音樂節拍與長時序肢體結構。不過 85GB 的體量對普通個人開發者依然不夠友好,在更輕量的量化版本或更成熟的 ComfyUI 工作流落地之前,它目前更適合有高階顯示卡的工作室嚐鮮。

來源 (1)

  1. [1]
    huggingface.co(在新分頁開啟)原文huggingface.co

每日 AI 內容精選