Google 发布 DiffusionGemma：改用文本扩散，生成提速 4 倍

DiffusionGemma 是 Google 开源的一个实验性文本生成模型。它最大的特点是放弃了传统大模型逐字打字的生成方式，改用图像生成里常见的扩散机制，一次性并行印出整段文本，把 GPU 上的推理速度直接拉高了最多 4 倍。

如果你在本地跑过大模型，大概能体会到那种瓶颈：单人使用时，GPU 算力基本都在等待下一个 token 生成，显存带宽卡得死死的。DiffusionGemma 把这个瓶颈转移到了计算上，不再一个词一个词往后猜，而是把整个推理过程变成了一台印刷机。

它是怎么做到的

传统的自回归语言模型只能从左到右单向推进，而 DiffusionGemma 借用了图像扩散的思路。生成开始时，模型先在画布上铺满 256 个占位符 token，相当于一片充满噪点的纯色画布。

随后，模型通过多次前向迭代，一边挑出正确的 token 锁定下来，一边利用这些上下文反向修正周围的内容，直到整段 256 个 token 的文字逐渐清晰成型。

正因为这 256 个 token 是同时生成的，模型具备了双向注意力机制。每一个位置的词不仅能看前面的上文，还能感知后面的下文。这种特性非常适合非线性文本任务，比如代码填空、行内行编辑，甚至是生成氨基酸序列和填数独。在 Unsloth 的演示里，微调后的 DiffusionGemma 能够直接解开数独谜题，而传统单向大模型在处理这类前后强依赖的任务时往往非常吃力。

硬件规格与性能表现

DiffusionGemma 采用了混合专家架构，总参数量为 26B，但在推理时每次仅激活 3.8B 参数。经过量化处理后，它可以轻松塞进 18GB 显存以内，完全能在高端消费级显卡上跑起来。

在生成速度上，单张 NVIDIA H100 上的吞吐量超过了每秒 1000 个 token；而在消费级的 NVIDIA GeForce RTX 5090 上，生成速度也能达到每秒 700 个 token 以上。

不过，速度是有代价的。Google 明确指出，DiffusionGemma 优先考虑的是极端生成速度和并行排版能力，其综合输出文本质量略逊于标准的自回归 Gemma 4 模型。如果你需要严谨、高质量的成篇输出，官方依然建议使用标准的 Gemma 4。

另外，这种并行扩散的提速优势主要集中在单卡、本地、低并发场景。如果是在云端高并发服务器上，传统自回归模型靠大 Batch 已经能把算力填满，用 DiffusionGemma 反而可能带来更高的计算成本。

怎么跑起来

Google 已经在 Hugging Face 上以宽松的 Apache 2.0 许可证放出了 DiffusionGemma 的实验模型权重。

在开发工具支持方面，目前可以通过 Hugging Face Transformers、Apple 生态的 MLX 以及 vLLM 运行该模型。微调方面支持 Unsloth、NVIDIA NeMo 以及 JAX 工具箱 Hackable Diffusion，官方表示对 llama.cpp 的支持也很快就会到来。本地除了 RTX 4090 和 5090 等显卡外，模型也原生适配了企业级 NVFP4 内核。

为什么重要

对开发者和本地 AI 极客来说，DiffusionGemma 最有价值的地方在于实时交互场景。如果你的工具需要极低的延迟，比如在写代码时实时补全函数内部缺失的代码块、在文本编辑器里做毫秒级即时润色，这种能直接看全篇上下文并迅速出字的模型非常值得立刻拿来做原型测试。

我们认为 Google 这一步走得相当实在：它没有遮掩模型输出质量不如常规模型的事实，而是坦率地把扩散架构当作一个专门解决交互延迟的特种工具放出来。它证明了文本扩散不只停留在学术论文里，当它与 MoE 和轻量激活结合时，确实能在消费级显卡上榨出惊人的单人推理吞吐量。对整个行业而言，这给长久以来被自回归垄断的本地代码助手和即时补全工具，打开了一条完全不同的工程路线。