扩散模型推理扩展新研究:不止增加去噪步数,算力堆对地方画质大涨
arXiv 上发表的一项研究探索了扩散模型的推理算力扩展。以往单纯增加去噪步数在几十步后收益见顶,该研究转为构建验证器与搜索算法寻找更优质的采样噪声,让生成时投入的算力能持续转化为画质提升。
用过 AI 画图的人大概都有过这种体验:把生图步数从 20 步拉到 50 步,画面细节明显丰富了不少;但如果一狠心拉到 100 步甚至 200 步,画面基本不再变好,有时反而变怪,白白浪费显卡算力。
大语言模型那边靠推理时思考(Inference-Time Scaling)把做题能力拉上了一个台阶,而画图模型却一直被困在这个去噪步数的死胡同里。1 月 16 日发表在 arXiv 上的一篇新论文,试图给扩散模型换一条烧算力的路子。
把画图变成一场「选噪声」的搜索
研究团队指出,扩散模型天生就能靠调整去噪步数来改变推理算力,但这种提升在几十步之后就会迅速放缓。换句话说,光在一个既定的起点上反复精细打磨,算力换来的收益很快就会触顶。
既然步数堆不动了,研究团队把目光转向了更底层的起点:初始噪声。他们把扩散模型的采样过程重新定义成一个搜索问题,核心目标是找到更适合生成目标画面的候选噪声。
他们把这个设计框架拆成了两个维度。第一个轴是验证器,用来评估生成图像的质量并提供反馈信号;第二个轴是搜索算法,负责根据反馈不断寻找更优质的噪声候选。
实验结果表明,在类别条件和文本条件图像生成基准测试中,通过这种框架增加推理阶段的计算量,扩散模型生成的样本质量获得了显著提升。而且因为图像本身复杂度高,框架里的验证器和搜索算法可以像搭积木一样自由组合,适配不同的应用场景。
为什么重要
我们认为,这项研究最聪明的地方在于把大语言模型已经验证过的 Test-Time Compute 范式移植到了图像领域,但没有生搬硬套。
对用户和创作者来说,这指明了一条全新的生图工具升级路线。如果这项技术落地成产品,未来用户可能不再需要为了抽出一张好图狂点几十次生成、自己肉眼去挑,而是直接交给模型在后台多跑几秒,让验证器和算法先帮你筛出最佳初始路径。
对整个行业而言,这可能会改变图像生成赛道的竞争焦点。过去厂商拼命卷底座模型的参数量和预训练数据,导致训练成本居高不下;如果推理阶段增加算力就能直接拔高成图上限,小型模型配合强大的推理搜索策略,完全有机会在特定画质上追平甚至超越大模型。
不过隐患也同样摆在眼前。搜索算法和验证器本身都需要消耗不菲的算力与显存,在实际部署时,每张图的生成延迟和服务器成本肯定会显著增加。如何在搜索带来的画质增益与用户的等待耐心之间找到平衡,会是工程化落地的真正考题。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org