Spectrum 开源：预判扩散轨迹，让图像视频模型提速超 4 倍

Spectrum 是字节跳动和斯坦福大学团队开源的扩散模型加速框架。说白了，它能让你本地跑图像和视频扩散模型时，不用重新训练模型，直接叠加一层预测算法，就能把生成速度提高 3.5 到 4.7 倍，而且画面细节几乎不打折扣。

它是怎么做到不掉质量提速的

一般的扩散模型生成图像或视频，需要老老实实一步一步完成几十次去噪计算，每多一步就多消耗一份显存和算力。

Spectrum 的做法很聪明：它没有粗暴地跳步，而是把去噪过程中的特征变化看作一条随时间滑动的平滑轨迹，用切比雪夫多项式去拟合这条曲线。接着通过简单的岭回归预测出未来几个扩散步骤的特征，直接复用过去的信息。

这样一来，模型就不需要每一步都完整跑一次庞大的神经网络前向计算。在数学上，这种长距离预测不会像常规插值那样步长一大误差就指数级滚雪球，因此能在省掉大量计算的同时稳住画质。

实际效果与支持的模型

从实测数据来看，在图像模型 FLUX.1 上，Spectrum 能跑出高达 4.79 倍的加速，生成出来的画面无论细节还是色彩，肉眼几乎分不出和原版有什么差异。

在视频模型上提速同样扎实。原版 Hunyuan Video 通常需要 50 步去噪，挂上 Spectrum 后只需实际计算 14 步，整体速度提升约 3.5 倍。相比同类加速方案比如 Taylor 系列方法容易出现画面畸变和颜色失真，Spectrum 依然能保持原始动作的连贯性和清晰度。此外，它在 Wan2.1-14B 视频模型上也拿下了 4.67 倍的加速比。

支持的生态方面，它目前覆盖了 FLUX.1、Stable Diffusion 3.5-Large、SDXL 以及 Hunyuan Video 等主流开源模型。官方代码已经完全开源，且已被生产级推理框架 SGLang 官方集成；社区也迅速跟进开发了面向 SDXL 和 FLUX 的 ComfyUI 插件，普通玩家甚至不需要自己写命令行就能挂载试用。

怎么在本地跑起来

代码已经托管在 GitHub 项目 hanjq17/Spectrum 上。环境配置要求比较常规，需要 Python 3.10 环境，安装 PyTorch、diffusers、transformers 以及 hydra-core 等核心依赖。

下载好对应开源模型的权重后，官方提供了直接调用的脚本。生成图像使用 text_to_image.py，生成视频使用 text_to_video.py，通过传入不同的窗口参数就能调节提速激进程度。如果你平时习惯在 ComfyUI 里出图出视频，直接安装社区对应的 ComfyUI-Spectrum 节点会更加省事。

为什么重要

我们认为 Spectrum 对本地部署大模型的创作者和小型开发者来说是个非常实用的利好。很多视频扩散模型单张卡跑一次就要等上几分钟，Spectrum 最大的优势在于完全不需要重新微调或蒸馏权重，即插即用，零训练门槛就能白嫖数倍的吞吐效率。

在整个推理优化领域，它提供了一个很清晰的思路：相比代价高昂的模型蒸馏，在特征层做纯数学轨迹预测既轻量又可靠。不过要注意的是，预测参数推得太激进时，某些高动态场景依然可能出现细微瑕疵，建议在生产环境中根据画质需求找到最适合自己的加速比平衡点。