跳到正文
IFAI

AI科研

字节跳动推出 DMAD:4 步完成视频生成,提速数倍

首次发布 传播指数 61

字节跳动发布视觉生成对抗蒸馏方法 DMAD。它把原模型当作教师,通过分布匹配训练仅需 4 步去噪的学生模型。该方法适配 MiniMax-H3、Wan2.1 等架构,将原本 20 至 30 步的视频生成流程大幅压缩,画质不减。

图:yzmblog.github.io

玩过 AI 视频生成的朋友大概都体会过那种干等的焦躁。输入一段提示词,模型在后台一步步去噪,通常要反复迭代 20 到 30 步甚至 50 步,一段几秒钟的片段往往要等上好几分钟。

字节跳动最近提出了一个叫做 DMAD 的新方法,全称是 Distribution Matching as Adversarial Distillation,也就是基于分布匹配的对抗蒸馏。说白了,它的目的就一个:把生成过程暴力压缩到只要 4 步。

两个头、一个骨干的聪明蒸馏

传统扩散模型之所以慢,是因为它得从纯噪声开始,走几十个微小的去噪步骤才能拼出一张清晰画卷。模型蒸馏想要做到的,就是把步数从几十步砍到个位数,但往往代价是画面发糊或细节丢失。

DMAD 的思路是让大模型当「教师」,带着一个步数极少的「学生模型」跑。噪声输入到 4 步学生模型后生成样本,接着教师模型输出、学生输出以及真实样本会被一起加噪,送进一个判别器里分类。

这里最聪明的地方在于结构设计:判别器采用了「一个骨干网络挂两个判别头」的架构。系统根据两者之间的分布差距计算权重,再用这个差值去指导学生模型更新,从而在极简的去噪步数下精准还原真实数据的分布。

不挑模型,本地只要下个 1.4GB 权重

这套蒸馏方法并不绑定某单一架构。除了用在 MiniMax-H3 上,它也能套用到 Wan2.1,以及 SDXL 和 EDM 这类主流图像生成模型里。

在 MiniMax-H3-33B 的实测案例中,仅用 4 步去噪就生成了包含粉色羽毛晚礼服的浅滩漫步、折纸龙翻山飞翔,甚至还有带同步对白和背景音效的人物对话场景,动作和画面连贯度相当可观。

对于想自己动手的开发者来说,门槛也比想象中低。官方已经公开了项目代码与本地运行说明,用户只需要备好基础模型,DMAD 对应的 LoRA 文件大约只有 1.4GB 左右,下载和挂载都非常轻便。

为什么重要

我们认为,AI 视频现在最大的瓶颈早就不是能不能画出来,而是算力和速度能不能撑得起规模化商用。让用户等几分钟看一个几秒的 demo,和点一下几秒内出预览,在产品形态上是两个物种。DMAD 这种把推理步骤直接砍掉 80% 以上的技术,真正意义上打开了交互式、实时视频生成的可能性。

对创作者和独立开发者来说,这意味着本地单卡部署大尺寸视频模型的门槛大幅拉低。只要挂上一个 1.4GB 的 LoRA,就能省下原本几倍的算力开销和等待时间,试错成本被直接腰斩。

在行业层面,视频扩散模型的蒸馏路线正在从各家自研的黑盒技巧,走向标准化和架构通用。字节跳动这次不仅证明了对抗蒸馏能在多模态音视频大模型上跑通,还把跨模型的通用性做了出来。看起来,接下来的视频模型军备竞赛,比拼的重点已经不单单是参数多大,而是谁能用最少的步数跑出商业级的效果了。

来源 (3)

  1. [1]
    yzmblog.github.io(在新标签页打开)原文yzmblog.github.io
  2. [2]
    pdmd2026.github.io(在新标签页打开)报道pdmd2026.github.io
  3. [3]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选