Google 釋出 DiffusionGemma：改用文本擴散，生成提速 4 倍

DiffusionGemma 是 Google 開源的一個實驗性文本生成模型。它最大的特點是放棄了傳統大模型逐字打字的生成方式，改用影像生成裡常見的擴散機制，一次性並行印出整段文本，把 GPU 上的推理速度直接拉高了最多 4 倍。

如果你在本地跑過大模型，大概能體會到那種瓶頸：單人使用時，GPU 算力基本都在等待下一個 token 生成，視訊記憶體頻寬卡得死死的。DiffusionGemma 把這個瓶頸轉移到了計算上，不再一個詞一個詞往後猜，而是把整個推理過程變成了一臺印刷機。

它是怎麼做到的

傳統的自迴歸語言模型只能從左到右單向推進，而 DiffusionGemma 借用了影像擴散的思路。生成開始時，模型先在畫布上鋪滿 256 個佔位符 token，相當於一片充滿噪點的純色畫布。

隨後，模型通過多次前向迭代，一邊挑出正確的 token 鎖定下來，一邊利用這些上下文反向修正周圍的內容，直到整段 256 個 token 的文字逐漸清晰成型。

正因為這 256 個 token 是同時生成的，模型具備了雙向注意力機制。每一個位置的詞不僅能看前面的上文，還能感知後面的下文。這種特性非常適合非線性文本任務，比如程式碼填空、行內行編輯，甚至是生成胺基酸序列和填數獨。在 Unsloth 的演示裡，微調後的 DiffusionGemma 能夠直接解開數獨謎題，而傳統單向大模型在處理這類前後強依賴的任務時往往非常吃力。

硬體規格與效能表現

DiffusionGemma 採用了混合專家架構，總引數量為 26B，但在推理時每次僅啟用 3.8B 引數。經過量化處理後，它可以輕鬆塞進 18GB 視訊記憶體以內，完全能在高階消費級顯示卡上跑起來。

在生成速度上，單張 NVIDIA H100 上的吞吐量超過了每秒 1000 個 token；而在消費級的 NVIDIA GeForce RTX 5090 上，生成速度也能達到每秒 700 個 token 以上。

不過，速度是有代價的。Google 明確指出，DiffusionGemma 優先考慮的是極端生成速度和並行排版能力，其綜合輸出文本質量略遜於標準的自迴歸 Gemma 4 模型。如果你需要嚴謹、高質量的成篇輸出，官方依然建議使用標準的 Gemma 4。

另外，這種並行擴散的提速優勢主要集中在單卡、本地、低併發場景。如果是在雲端高併發伺服器上，傳統自迴歸模型靠大 Batch 已經能把算力填滿，用 DiffusionGemma 反而可能帶來更高的計算成本。

怎麼跑起來

Google 已經在 Hugging Face 上以寬鬆的 Apache 2.0 許可證放出了 DiffusionGemma 的實驗模型權重。

在開發工具支援方面，目前可以通過 Hugging Face Transformers、Apple 生態的 MLX 以及 vLLM 執行該模型。微調方面支援 Unsloth、NVIDIA NeMo 以及 JAX 工具箱 Hackable Diffusion，官方表示對 llama.cpp 的支援也很快就會到來。本地除了 RTX 4090 和 5090 等顯示卡外，模型也原生適配了企業級 NVFP4 核心。

為什麼重要

對開發者和本地 AI 極客來說，DiffusionGemma 最有價值的地方在於即時互動場景。如果你的工具需要極低的延遲，比如在寫程式碼時即時補全函式內部缺失的程式碼塊、在文本編輯器裡做毫秒級即時潤色，這種能直接看全篇上下文並迅速出字的模型非常值得立刻拿來做原型測試。

我們認為 Google 這一步走得相當實在：它沒有遮掩模型輸出質量不如常規模型的事實，而是坦率地把擴散架構當作一個專門解決互動延遲的特種工具放出來。它證明了文本擴散不只停留在學術論文裡，當它與 MoE 和輕量啟用結合時，確實能在消費級顯示卡上榨出驚人的單人推理吞吐量。對整個行業而言，這給長久以來被自迴歸壟斷的原生代碼助手和即時補全工具，打開了一條完全不同的工程路線。