Google 推出 Gemma 3 QAT 版本：27B 模型塞进消费级显卡本地跑

很多人在本地跑大模型，最头疼的就是显存不够。明明买了一张 24GB 显存的 RTX 3090，看到 27B 规模的模型，还是只能望卡兴叹。

Google 刚刚发布了 Gemma 3 的 QAT 版本。通过量化感知训练，Google 把原本需要服务器级显卡的模型，直接塞进了普通玩家的电脑里。

训练时就学会「节衣缩食」

上个月 Google 推出开源大模型 Gemma 3 时，原生采用的是 16 位浮点数（BF16）。这种精度下，性能确实顶尖，但想跑起来通常需要 NVIDIA H100 这种企业级算力卡。

通常大家为了在自己的显卡上跑大模型，会采用训练后量化（PTQ），把 16 位的参数强行压缩到 4 位（int4）。虽然体积缩小到了四分之一，但往往会带来肉眼可见的性能劣化，回答开始语无伦次。

Google 这次换了一条路，改用量化感知训练（QAT）。简单来说，就是不等模型训练完了再暴力压缩，而是在训练的最后阶段，直接让模型在模拟低精度的环境下适应。

具体而言，Google 在大约 5000 个训练步数里引入了 QAT，以未量化检查点的概率分布作为目标。根据 llama.cpp 的困惑度测试，在压缩到 Q4_0 格式时，这种方法将性能下降幅度减少了 54%。

单张 3090 就能吃下 27B

这次更新覆盖了 Gemma 3 的全系列，包括 1B、4B、12B 和 27B。

最立竿见影的改变是显存占用。按照官方公布的数据，QAT 优化后的模型在保持接近半精度质量的同时，显存占用直接砍掉了将近三分之二。

这意味着，普通用户甚至可以在一张拥有 24GB 显存的 RTX 3090 或 RTX 4090 上，本地完整加载并运行 Gemma 3 27B。

针对开发者的使用习惯，Google 已经在 Hugging Face 和 Kaggle 上公开了官方权重，不仅提供未量化的 QAT 底模，还直接放出了适配 llama.cpp、Ollama 和 MLX 的 Q4_0 GGUF 格式文件。

除了官方版本，社区生态里的 Bartowski、Unsloth 等开发者也提供了基于传统后量化的多种变体，供不同需求的用户挑选。

为什么重要

我们认为，Google 这次最聪明的举动，是官方下场把模型压缩的工序揽了过去。

过去开源社区虽然繁荣，但大多依赖第三方开发者在训练完成后做后量化。对于 20B 到 30B 这个甜点级别的模型，普通量化往往会让逻辑推理能力严重缩水，导致大显存消费卡处于能跑但不好用的尴尬境地。

现在 Google 用 5000 步 QAT 训练把性能损耗抹平了一半以上，等于让单卡独立开发者和本地部署玩家可以直接用上完整度极高的 27B 模型。如果你平时有搭建本地知识库、代码助手或离线文档分析的需求，现在完全值得把现有的模型换成 Gemma 3 QAT 版本试试。

对行业而言，这一步走得很务实。它不仅是在卷参数榜单，而是在逼迫竞争对手优化交付标准。不过需要提醒的是，官方给出的显存数字主要对应模型权重本身，在实际多轮长对话中，KV 缓存依然会额外吃掉一部分显存，在长上下文场景下，24GB 显存依然需要谨慎规划。