Google 为 Gemma 4 推出 MTP 草稿模型：推理最高提速 3 倍

Google 为自家的 Gemma 4 系列开源模型推出了多 Token 预测（MTP）草稿模型。简单来说，它能让你在本地显卡、苹果电脑甚至手机上跑 Gemma 4 时，推断速度直接翻倍甚至达到 3 倍，而且输出质量完全不缩水。

这套工具的核心思路是推测解码。平时大模型生成文本是一个词一个词往外蹦，哪怕遇到像固定搭配这种毫无悬念的词，也要消耗同等的显存带宽去搬运全部参数。显存带宽被堵死，算力就只能干等。

推测解码是怎么做到的

Google 的解决办法是给大模型配一个体量极小的草稿模型。这个小模型跑得极快，趁着大模型还没反应过来，就一口气往前预判好几个 Token。

随后，大模型只需在一次前向传播中，同时验证这些预判出来的词是否合格。只要大模型认可，整串词就会被一次性采纳，顺便还能再补吐出一个新词。因为最终拍板的始终是完整的大模型，所以推理逻辑和生成质量跟原来一模一样，没有任何损失。

为了把速度榨到极致，这批草稿模型还做了专门的架构优化。它们可以直接复用目标大模型的激活状态，并共享同一份 KV 缓存，不用反反复复重算上下文。针对手机等边缘设备上的 E2B 和 E4B 模型，Google 还给嵌入层加了聚类优化，专门缓解最后的词表计算瓶颈。

哪些模型能用，怎么跑起来

这批草稿模型已经覆盖了 Gemma 4 旗下的主要型号，包括 26B MoE、31B Dense 以及主打端侧的 E2B 和 E4B。

在硬件测试中，一块 NVIDIA RTX PRO 6000 运行 26B 模型时，等待时间直接减半，速度最高能跑到原本的 3 倍。在苹果电脑上跑 26B MoE 时，如果把并发批处理调到 4 到 8，也能拿到约 2.2 倍的提速，在 A100 显卡上也有类似效果。

草稿模型同样采用宽松的 Apache 2.0 许可证开源。模型权重已经上架 Hugging Face 和 Kaggle，官方支持直接接入 vLLM、Ollama、MLX、SGLang、Transformers 以及 LiteRT-LM。如果你想在安卓或 iOS 手机上直接看效果，也可以通过 Google AI Edge Gallery 体验。

为什么重要

对本地部署大模型的开发者来说，显存带宽往往是最大死穴，Gemma 4 这套官方草稿模型算得上是雪中送炭。我们认为它最实用的地方在于零配置门槛和零质量妥协，你不需要自己花精力去蒸馏小模型或重新做对齐，拿来就能把消费级显卡的吞吐拉满。

从技术生态来看，Google 正在把前沿研究里的推测解码迅速下放成开箱即用的工程标配。对于想用 26B 或 31B 做本地代码助手和自主 Agent 的开发者来说，延迟腰斩意味着交互体验直接从卡顿变成可用，非常值得现在就更新框架尝鲜。