Viggle 開源 Viggle-Animate：只改一幀畫面，就能替完整段影片角色

Viggle-Animate 是一個讓你只改動一幀畫面，就能把整段影片主角完全換掉的開源影片工具。

你只需要找一段目標影片，隨便挑一幀匯出來，用 Photoshop 或者 AI 生圖工具把裡面的角色重繪成你想換的新形象。接著把改好的單幀和原影片一起餵給模型，它就會自動把原影片裡的一切動作、走位和鏡頭運動，嚴絲合縫地套到新角色身上。

扔掉骨骼和蒙版，快動作也不糊

傳統的影片換角工具非常折騰，你通常得先跑一遍姿態估計提骨骼，再跑分割模型摳人像蒙版，最後還要做面部追蹤，中間任何一個環節丟了細節，成片就會崩掉。

Viggle-Animate 徹底扔掉了這些腳手架。它既不需要提取骨骼，也不用畫遮罩蒙版，甚至在生成影片時完全不載入文本編碼器，純靠原影片的幾何運動和那張重繪單幀的外貌特徵來生成。

因為你挑的那一幀原本就在鏡頭裡，它的姿態、光影和機位天生就和影片完全匹配，模型不用再去猜光線怎麼打。即便是甩頭、飛踢、空翻這種傳統模型極容易拉絲糊成一片的快速運動，它也能逐幀咬住，動作給得非常紮實。

更有意思的是它的泛化能力。由於模型底層完全沒有「人必須有人形骨架」的先驗設定，換角的物件不侷限於人類。官方演示裡不僅能換成帶爪子的動物、黏土定格角色，甚至還能把一架客機套在跳舞的人身上，讓機翼跟著手臂一起揮動。

蒸餾到 3 步，單卡 26 秒出片

整個專案的技術底座，是對開源影片模型 MiniMax-H3 的 ref2va transformer 進行了 33.1B 引數的全量微調，再聯合 DMD 蒸餾成了僅需 3 次前向傳播的取樣流程。

在單張 B200 GPU 上跑一段 480×832 解析度、124 幀（約 5.2 秒）的片段，權重載入完成後渲染只要 26 秒。對比同樣設定下的 Wan2.2-Animate-14B，後者需要 40 次前向傳播、耗時 160 秒，Viggle-Animate 的渲染速度整整快了 6.1 倍，純取樣環節甚至快了 10 倍以上。

不過，目前的硬體門檻依然不低。開源倉庫主要包含大約 66GB 的微調模型權重，以及一個 2.5GB 的 DMD2 LoRA。由於未量化的模型體積龐大，跑 bf16 精度至少需要一張 96GB 視訊記憶體的高效能顯示卡；如果視訊記憶體不夠，就必須加上 CPU offload，速度會慢上一大截。官方雖然在 32GB 的 RTX 5090 上跑通了 NVFP4 量化版，但那套指令碼目前還沒合併進公開倉庫。

此外，它在處理多人強互動、鏡頭切鏡時表現會下降。關於大家關心的對口型問題，官方發現只要加上 `--audio` 引數，把原影片的音訊通過音訊 VAE 作為潛空間約束輸入，新角色的嘴型就能精準貼合臺詞。

現在該專案的程式碼和模型權重已經上線 Hugging Face，社群也跟進了 ComfyUI 節點，想嚐鮮的創作者可以直接在網頁端體驗 demo。

為什麼重要

這套思路給影片編輯換了一條極聰明的解題捷徑。過去大家總想用一個複雜的影片大模型把「新角色長什麼樣」和「角色怎麼動」兩件事一起做完，結果算力開銷巨大，邊緣還經常穿模變形。

Viggle-Animate 的做法很討巧：它把最難的單張影像質感、光影對齊扔給成熟的生圖模型去解，影片模型只專注做一件事，就是把那一幀的修改順滑地擴散到整段影片裡。對影視二創、動畫概念設計和特效團隊來說，只要你有耐心修精一張靜幀，就能極低成本撬動整段高質量動態，工作流被大幅壓縮了。