Google 為 Gemma 4 推出 MTP 草稿模型：推理最高提速 3 倍

Google 為自家的 Gemma 4 系列開源模型推出了多 Token 預測（MTP）草稿模型。簡單來說，它能讓你在本地顯示卡、蘋果電腦甚至手機上跑 Gemma 4 時，推斷速度直接翻倍甚至達到 3 倍，而且輸出質量完全不縮水。

這套工具的核心思路是推測解碼。平時大模型生成文本是一個詞一個詞往外蹦，哪怕遇到像固定搭配這種毫無懸念的詞，也要消耗同等的視訊記憶體頻寬去搬運全部引數。視訊記憶體頻寬被堵死，算力就只能乾等。

推測解碼是怎麼做到的

Google 的解決辦法是給大模型配一個體量極小的草稿模型。這個小模型跑得極快，趁著大模型還沒反應過來，就一口氣往前預判好幾個 Token。

隨後，大模型只需在一次前向傳播中，同時驗證這些預判出來的詞是否合格。只要大模型認可，整串詞就會被一次性採納，順便還能再補吐出一個新詞。因為最終拍板的始終是完整的大模型，所以推理邏輯和生成質量跟原來一模一樣，沒有任何損失。

為了把速度榨到極致，這批草稿模型還做了專門的架構最佳化。它們可以直接複用目標大模型的啟用狀態，並共享同一份 KV 快取，不用反反覆覆重算上下文。針對手機等邊緣裝置上的 E2B 和 E4B 模型，Google 還給嵌入層加了聚類最佳化，專門緩解最後的詞表計算瓶頸。

哪些模型能用，怎麼跑起來

這批草稿模型已經覆蓋了 Gemma 4 旗下的主要型號，包括 26B MoE、31B Dense 以及主打端側的 E2B 和 E4B。

在硬體測試中，一塊 NVIDIA RTX PRO 6000 執行 26B 模型時，等待時間直接減半，速度最高能跑到原本的 3 倍。在蘋果電腦上跑 26B MoE 時，如果把併發批處理調到 4 到 8，也能拿到約 2.2 倍的提速，在 A100 顯示卡上也有類似效果。

草稿模型同樣採用寬鬆的 Apache 2.0 許可證開源。模型權重已經上架 Hugging Face 和 Kaggle，官方支援直接接入 vLLM、Ollama、MLX、SGLang、Transformers 以及 LiteRT-LM。如果你想在安卓或 iOS 手機上直接看效果，也可以通過 Google AI Edge Gallery 體驗。

為什麼重要

對本地部署大模型的開發者來說，視訊記憶體頻寬往往是最大死穴，Gemma 4 這套官方草稿模型算得上是雪中送炭。我們認為它最實用的地方在於零配置門檻和零質量妥協，你不需要自己花精力去蒸餾小模型或重新做對齊，拿來就能把消費級顯示卡的吞吐拉滿。

從技術生態來看，Google 正在把前沿研究裡的推測解碼迅速下放成開箱即用的工程標配。對於想用 26B 或 31B 做原生代碼助手和自主 Agent 的開發者來說，延遲腰斬意味著互動體驗直接從卡頓變成可用，非常值得現在就更新框架嚐鮮。