跳到正文
IFAI

開源專案

影片蒸餾方法 PDMD 開源:MiniMax-H3 縮至 4 步出片,細節更穩

首次發布 傳播指數 48

研究團隊開源影片蒸餾方法 PDMD。它將 MiniMax-H3 原本需要 20 到 30 步的影片生成流程直接壓縮至 4 步。最值得關注的是,它修正了評估器的錯誤指導,避免傳統蒸餾中畫面越練越糊的問題,運動表現和細節明顯更優。

影片蒸餾方法 PDMD 開源:MiniMax-H3 縮至 4 步出片,細節更穩
圖:huggingface.co

PDMD 是一個針對影片擴散模型的開源蒸餾方案,能把開源影片模型 MiniMax-H3 的生成步數從原本的 20 到 30 步直接砍到 4 步。

它讓本地跑影片生成不再需要漫長等待,同時避免了傳統蒸餾演算法越練越糊的通病。

它能做什麼

開源影片模型 MiniMax-H3 原生出片通常需要 20 到 30 步推理,生成一段幾秒鐘的影片需要消耗大量算力和時間。

套上 PDMD 之後,模型只需要 4 步(4 NFE)去噪就能完成出片,推理速度提升數倍。

更難得的是畫質沒有崩。如果拿它和其他蒸餾方法橫向對比,PDMD 在畫面的大幅運動、區域性紋理細節以及跨幀一致性上都明顯更優,避免了激烈動作下人物變形、背景閃爍或畫面泛白塗抹的問題。從影片與音訊質量的基準測試來看,它的平均表現也穩穩壓過現有的同類蒸餾方案。

怎麼做到的

這套方案的核心,在於解決了蒸餾過程中「裁判亂吹哨」的問題。

此前像 DMAD 這樣的擴散蒸餾方法,通常會引入一個 Critic(評估器)充當裁判,負責對比學生模型與教師模型輸出的差異,再把修正訊號反饋給學生。但問題在於,評估器本身也是一個模型,它的判斷並不完美。一旦評估器自己產生偏差,錯誤的指導訊號就會被直接餵給學生模型,導致蒸餾出來的畫面越練越髒、細節丟失嚴重。

PDMD 的全稱是投影分佈匹配蒸餾(Projected Distribution Matching Distillation)。它的關鍵改進在於,演算法能夠識別訓練訊號中由評估器誤差引起的分量,並把這部分錯誤投影過濾掉。學生模型只接收乾淨、準確的指導訊號,從而在極少步數下依然能還原出原模型的畫面質感。

怎麼跑起來

研究團隊已經在 Hugging Face 上開源了完整的程式碼、論文與模型權重,並提供了兩種不同體量的部署方案。

第一種是修改後的完整基礎模型(pdmd_4NFE_full),直接替換了原版的 Transformer 權重,體積約為 66GB,適合有大視訊記憶體裝置的使用者開箱即用。

第二種是輕量化的 LoRA 權重(pdmd_4NFE_lora),檔案大小隻有大約 1.4GB。使用者可以使用更小體積的量化版 MiniMax-H3 作為底模,再掛載這個 LoRA 補丁,同樣能獲得 4 步出片的效果。除了 3D Transformer 模組被 LoRA 適配外,模型的 VAE、音訊元件與文本編碼器均複用原版,完全相容。

在環境配置上,只要安裝最新版 Diffusers、Transformers 和 Accelerate 庫,通過幾行標準 Python 指令碼載入 Pipeline 即可呼叫。專案也已經支援 Draw Things 等本地桌面客戶端以及 Google Colab 執行。

為什麼重要

對個人創作者和獨立開發者來說,本地跑影片生成最大的痛點就是等待成本。以往調一個鏡頭往往要耗費數分鐘,PDMD 把生成壓縮到 4 步,配合僅 1.4GB 的輕量 LoRA,大幅降低了在消費級顯示卡上做影片生成試驗的硬體與時間門檻。

在技術思路上,它也給影片蒸餾指出了一個很聰明的方向。以前大家普遍認為極低步數下畫質下滑是不可逆的資訊損失,PDMD 則證明了瓶頸很大程度出在評估器傳遞的錯誤噪聲上。如果這種剔除裁判誤差的方法被推廣到更多開源影片底模上,開源影片生成的實用化程序會明顯提速。

來源 (2)

  1. [1]
    huggingface.co(在新分頁開啟)原文huggingface.co
  2. [2]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選