Luma 推出 IMM 预训练算法：采样效率提升 10 倍，突破扩散模型上限

Inductive Moment Matching（简称 IMM）是 Luma 开源的一种全新生成式预训练算法，专门用来解决扩散模型跑得太慢、多步迭代效率低的老大难问题。

它完全绕开了目前主流扩散模型依赖的去噪分数匹配机制，用一种单目标函数的矩匹配方法替代。在把采样步数砍掉 30 倍的同时，它的生成质量不仅没降，反而反超了传统的扩散模型和 Flow Matching。

它是怎么绕过扩散模型瓶颈的

自 2020 年以来，连续信号生成领域基本全被扩散模型垄断。扩散模型最大的问题在于推理，哪怕你把模型参数堆得再大，网络依然要依赖非常细密的时间步才能收敛。

像大家常用的 DDIM 采样器，每次迭代只是根据当前时间和输入预测下一步，本质上是奔着下一步做线性插值。这种线性约束直接封死了单次迭代的表达上限。

IMM 的改法非常巧妙。它让模型在接收当前时间步的同时，额外输入一个要跳向的「目标时间步」，从而大大放宽了单步推断的限制。

在数学实现上，IMM 捡起了 15 年前就成熟的最大均值差异（MMD）矩匹配技术。这让它摆脱了分数随机微分方程那套复杂的推导，也不需要像一致性模型（Consistency Models）那样为了防崩塌去调繁琐的超参数，整个训练过程只需要一个损失目标，结构非常稳定。

测试成绩与开源内容

在基准测试上，IMM 的采样效率相比传统扩散模型提升了 10 倍以上。

在标准的 ImageNet 256x256 测试中，IMM 仅用原本三十分之一的采样步数，就跑出了 1.99 的 FID 得分，表现优于扩散模型的 2.27 以及 Flow Matching 的 2.15。

如果是从头训练的标准 CIFAR-10 数据集，IMM 甚至只需要 2 步采样就能跑出 1.98 的 FID，直接刷新了该条件下的最优成绩。而且测试显示，它的生成效果随着训练算力、推断算力和模型尺寸的增加能稳定变强。

目前 Luma 已经把这项研究完全开源，GitHub 仓库 lumalabs/imm 上提供了完整代码和预训练权重 Checkpoints，ArXiv 上也同步放出了技术细节论文与关于推断端扩展的立场论文。

为什么重要

生成式图像和视频模型这几年越做越大，但落地时全被推断成本卡住了脖子。很多团队为了加速只能做后期的蒸馏或妥协步数，而 IMM 证明了只要预训练算法本身改对了，根本不用在推断速度和画质之间二选一。

我们认为，如果你正在从事多模态基座模型训练或图像生成研究，这个项目非常值得直接拉下来跑一跑。它最大的价值不仅在于少走几步采样省下的算力，更在于给长期停滞在扩散架构里的多模态预训练，撕开了一条新的算法口子。