跳到正文
IFAI

開源專案

WildActor:用 3 張參考圖搞定影片人物一致性,動作再大也不走樣

首次發布 傳播指數 48

美團團隊開源人物影片生成專案 WildActor,支援通過 3 張參考圖實現多視角身份保持。它適配開源模型 Wan2.2-5B,無論真人還是卡通角色,在大幅動作下都能維持面部與服裝高度一致,並同步開源了 Actor-18M 資料管線。

玩過 AI 影片生成的朋友大概都遇到過這種尷尬:提示詞裡寫得清清楚楚,畫面一開始也很驚豔,結果人物一轉頭臉就變了,走兩步衣服換了樣式,要是動作稍微劇烈一點,整個人甚至直接融化在背景裡。

AI 影片一直很難在複雜大動作下鎖死人物身份。美團團隊最近開源的 WildActor,就是專門衝著這個痛點來的。該研究已被 ICML 2026 接收,核心就是通過 3 張參考照片,在不受限的視角、構圖和大幅動作下,讓人物的外貌、五官細節和衣服穿搭從頭到尾保持高度一致。

3 張照片定住全身細節

以往很多人做影片角色一致性,要麼只抓一張大頭照,導致人物轉身就露餡;要麼需要微調一整個模型,成本高而且泛化極差。

WildActor 的思路很直接:它要求輸入 3 張包含正面、側面和背面的參考圖,作為角色的標準多視角身份錨點。有了這套全方位的參考,模型在生成大幅度轉身、奔跑或者跳躍時,就能隨時檢索到對應的視角特徵,不會憑空亂猜後腦勺或者衣服背面的花紋。

更實用的是,這套機制不僅能處理真人實拍風格,對二次元或者卡通角色的相容性同樣很好。只要給齊多視角參考,卡通人物做複雜動作也不會出現常見的崩壞問題。

搭在 Wan2.2-5B 上的輕量推理

在底層實現上,研究團隊沒有重新訓練一個龐大的影片基座,而是選擇了開源的 Wan2.2-5B 作為公開影片骨幹網路。

WildActor 的推理程式碼相容 Wan2.2-5B 和 DiffSynth-Studio 框架。使用者只需要在請求檔案裡填入提示詞和參考圖片路徑,再掛載專門的 adapter 介面卡權重,就能直接跑出高一致性的影片演示。

除了推理程式碼,團隊這次還同步放出了名為 Actor-18M 的資料構建管線。這套工具可以自動篩選一致的單人影片,提取人臉和身體特徵,甚至能自動擴充屬性多樣性並生成規範的正側背三視角標註,為下游訓練提供標準化的資料支援。

為什麼重要

對創作者和獨立開發者來說,WildActor 解決的是 AI 影片走向實用敘事的最關鍵一環。過去做連續分鏡或短劇,創作者為了讓同一個主角在不同鏡頭裡不換臉,往往要花大量時間去抽卡修圖;現在只要準備好 3 張定妝照,就能直接驅使角色完成複雜的表演,這大幅降低了連貫影片內容的製作門檻。

從技術路線上看,美團團隊的做法非常務實。他們沒有卷從頭預訓練大模型的高昂成本,而是把重點放在了高難度的多視角身份控制和高質量資料管線上,並將其掛載到成熟的開源 5B 模型上。我們認為,這種模組化、即插即用的 adapter 方案,很可能會成為後續開源社群做垂直角色控制的標準解法。

不過目前 WildActor 的完整可用性依然取決於官方 adapter 權重的釋出節奏以及消費級顯示卡的視訊記憶體開銷。但在人物一致性這個核心戰場上,用 3 張圖解決全身一致性的思路,已經給行業提供了一個足夠清晰的解題範式。

來源 (1)

  1. [1]

每日 AI 內容精選