跳到正文
IFAI

AI科研

字節跳動推出 DMAD:4 步完成影片生成,提速數倍

首次發布 傳播指數 61

字節跳動釋出視覺生成對抗蒸餾方法 DMAD。它把原模型當作教師,通過分佈匹配訓練僅需 4 步去噪的學生模型。該方法適配 MiniMax-H3、Wan2.1 等架構,將原本 20 至 30 步的影片生成流程大幅壓縮,畫質不減。

圖:yzmblog.github.io

玩過 AI 影片生成的朋友大概都體會過那種乾等的焦躁。輸入一段提示詞,模型在後臺一步步去噪,通常要反覆迭代 20 到 30 步甚至 50 步,一段幾秒鐘的片段往往要等上好幾分鐘。

字節跳動最近提出了一個叫做 DMAD 的新方法,全稱是 Distribution Matching as Adversarial Distillation,也就是基於分佈匹配的對抗蒸餾。說白了,它的目的就一個:把生成過程暴力壓縮到只要 4 步。

兩個頭、一個骨幹的聰明蒸餾

傳統擴散模型之所以慢,是因為它得從純噪聲開始,走幾十個微小的去噪步驟才能拼出一張清晰畫卷。模型蒸餾想要做到的,就是把步數從幾十步砍到個位數,但往往代價是畫面發糊或細節丟失。

DMAD 的思路是讓大模型當「教師」,帶著一個步數極少的「學生模型」跑。噪聲輸入到 4 步學生模型後生成樣本,接著教師模型輸出、學生輸出以及真實樣本會被一起加噪,送進一個判別器裡分類。

這裡最聰明的地方在於結構設計:判別器採用了「一個骨幹網路掛兩個判別頭」的架構。系統根據兩者之間的分佈差距計算權重,再用這個差值去指導學生模型更新,從而在極簡的去噪步數下精準還原真實資料的分佈。

不挑模型,本地只要下個 1.4GB 權重

這套蒸餾方法並不繫結某單一架構。除了用在 MiniMax-H3 上,它也能套用到 Wan2.1,以及 SDXL 和 EDM 這類主流影像生成模型裡。

在 MiniMax-H3-33B 的實測案例中,僅用 4 步去噪就生成了包含粉色羽毛晚禮服的淺灘漫步、摺紙龍翻山飛翔,甚至還有帶同步對白和背景音效的人物對話場景,動作和畫面連貫度相當可觀。

對於想自己動手的開發者來說,門檻也比想像中低。官方已經公開了專案程式碼與本地執行說明,使用者只需要備好基礎模型,DMAD 對應的 LoRA 檔案大約只有 1.4GB 左右,下載和掛載都非常輕便。

為什麼重要

我們認為,AI 影片現在最大的瓶頸早就不是能不能畫出來,而是算力和速度能不能撐得起規模化商用。讓使用者等幾分鐘看一個幾秒的 demo,和點一下幾秒內出預覽,在產品形態上是兩個物種。DMAD 這種把推理步驟直接砍掉 80% 以上的技術,真正意義上打開了互動式、即時影片生成的可能性。

對創作者和獨立開發者來說,這意味著本地單卡部署大尺寸影片模型的門檻大幅拉低。只要掛上一個 1.4GB 的 LoRA,就能省下原本幾倍的算力開銷和等待時間,試錯成本被直接腰斬。

在行業層面,影片擴散模型的蒸餾路線正在從各家自研的黑盒技巧,走向標準化和架構通用。字節跳動這次不僅證明了對抗蒸餾能在多模態音影片大模型上跑通,還把跨模型的通用性做了出來。看起來,接下來的影片模型軍備競賽,比拼的重點已經不單單是引數多大,而是誰能用最少的步數跑出商業級的效果了。

來源 (3)

  1. [1]
    yzmblog.github.io(在新分頁開啟)原文yzmblog.github.io
  2. [2]
    pdmd2026.github.io(在新分頁開啟)報導pdmd2026.github.io
  3. [3]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選