Google 推出 Gemma 3 QAT 版本：27B 模型塞進消費級顯示卡本地跑

很多人在本地跑大模型，最頭疼的就是視訊記憶體不夠。明明買了一張 24GB 視訊記憶體的 RTX 3090，看到 27B 規模的模型，還是隻能望卡興嘆。

Google 剛剛釋出了 Gemma 3 的 QAT 版本。通過量化感知訓練，Google 把原本需要伺服器級顯示卡的模型，直接塞進了普通玩家的電腦裡。

訓練時就學會「節衣縮食」

上個月 Google 推出開源大模型 Gemma 3 時，原生採用的是 16 位浮點數（BF16）。這種精度下，效能確實頂尖，但想跑起來通常需要 NVIDIA H100 這種企業級算力卡。

通常大家為了在自己的顯示卡上跑大模型，會採用訓練後量化（PTQ），把 16 位的引數強行壓縮到 4 位（int4）。雖然體積縮小到了四分之一，但往往會帶來肉眼可見的效能劣化，回答開始語無倫次。

Google 這次換了一條路，改用量化感知訓練（QAT）。簡單來說，就是不等模型訓練完了再暴力壓縮，而是在訓練的最後階段，直接讓模型在模擬低精度的環境下適應。

具體而言，Google 在大約 5000 個訓練步數里引入了 QAT，以未量化檢查點的機率分佈作為目標。根據 llama.cpp 的困惑度測試，在壓縮到 Q4_0 格式時，這種方法將效能下降幅度減少了 54%。

單張 3090 就能吃下 27B

這次更新覆蓋了 Gemma 3 的全系列，包括 1B、4B、12B 和 27B。

最立竿見影的改變是視訊記憶體佔用。按照官方公佈的資料，QAT 最佳化後的模型在保持接近半精度質量的同時，視訊記憶體佔用直接砍掉了將近三分之二。

這意味著，普通使用者甚至可以在一張擁有 24GB 視訊記憶體的 RTX 3090 或 RTX 4090 上，本地完整載入並執行 Gemma 3 27B。

針對開發者的使用習慣，Google 已經在 Hugging Face 和 Kaggle 上公開了官方權重，不僅提供未量化的 QAT 底模，還直接放出了適配 llama.cpp、Ollama 和 MLX 的 Q4_0 GGUF 格式檔案。

除了官方版本，社群生態裡的 Bartowski、Unsloth 等開發者也提供了基於傳統後量化的多種變體，供不同需求的使用者挑選。

為什麼重要

我們認為，Google 這次最聰明的舉動，是官方下場把模型壓縮的工序攬了過去。

過去開源社群雖然繁榮，但大多依賴第三方開發者在訓練完成後做後量化。對於 20B 到 30B 這個甜點級別的模型，普通量化往往會讓邏輯推理能力嚴重縮水，導致大視訊記憶體消費卡處於能跑但不好用的尷尬境地。

現在 Google 用 5000 步 QAT 訓練把效能損耗抹平了一半以上，等於讓單卡獨立開發者和本地部署玩家可以直接用上完整度極高的 27B 模型。如果你平時有搭建本地知識庫、程式碼助手或離線文件分析的需求，現在完全值得把現有的模型換成 Gemma 3 QAT 版本試試。

對行業而言，這一步走得很務實。它不僅是在卷引數榜單，而是在逼迫競爭對手最佳化交付標準。不過需要提醒的是，官方給出的視訊記憶體數字主要對應模型權重本身，在實際多輪長對話中，KV 快取依然會額外吃掉一部分視訊記憶體，在長上下文場景下，24GB 視訊記憶體依然需要謹慎規劃。