Google 发布 Gemma 4 QAT 模型：手机就能跑，E2B 显存压到 1GB 内

Google 发布的 Gemma 4 QAT 是一批专门给手机、轻薄笔记本和日常消费级显卡准备的本地大模型权重。它让你可以直接在日常边缘硬件上跑完整的 Gemma 4，其中 E2B 纯文本模型的内存占用被直接压到了 1GB 以内。

普通电脑和手机要跑大模型，通常得把模型压缩量化。但传统的后训练量化是在模型练好之后硬压，往往会导致模型反应迟钝或者变笨。Google 这次是在训练过程中直接模拟量化损耗，也就是所谓的量化感知训练，让模型在学习阶段就适应低精度，从而在大幅缩减体积的同时尽可能保住推理能力。

怎么把模型压进 1GB

除了常规的 Q4_0 格式，Google 这次专门给面向边缘端的 E2B 和 E4B 打造了一套移动端定制量化方案。这套方案并不是一刀切地整体降精度，而是针对手机芯片的硬件结构做了细致拆解。

首先是静态激活。以往模型在运行时需要动态计算缩放参数，消耗手机芯片算力，新方案在训练期就把这些参数算好了，省去了运行时的额外开销，推理响应也更快。

其次是通道级量化与针对性的 2-bit 压缩。Google 将负责生成 token 的特定模块深度压缩到 2-bit，但核心的逻辑推理层依然保留较高精度，同时把压缩数据按照手机移动加速器的硬件架构重组，让手机芯片能够原生处理计算，不再需要低效的中间转换。

最后是针对词表与 KV 缓存的优化。通过专门压缩模型的词汇表和短期记忆，模型运行时的活跃内存占用被大幅拉低，即便长对话也不会迅速爆显存。如果开发者不需要视觉和音频能力，只部署纯文本版本，Gemma 4 E2B 的内存占用就能控制在 1GB 以下。

怎么跑起来

这批模型已经在 Hugging Face 上线，官方针对主流本地推理工具提供了现成的打包格式。

桌面用户用 llama.cpp、Ollama 或 LM Studio，可以直接下载 GGUF 格式的 Q4_0 权重。如果你在 Mac 上开发，MLX 已经提供了针对 Apple Silicon 的专门支持。

移动端部署可以使用 Google 的 LiteRT-LM 边缘运行时，也可以通过 Transformers.js 直接在网页端跑。需要跑后端服务或并发推理的开发者，可以用 vLLM 和 SGLang，它们支持本次提供的压缩张量格式。如果需要做下游微调，Unsloth 和 Hugging Face Transformers 也已同步兼容，甚至包含了此前发布的多 token 预测 QAT 权重。

为什么重要

我们认为，对于想在手机、树莓派或轻薄本上捣鼓本地离线 AI 的独立开发者来说，这批权重非常值得立刻上手。以往在 1GB 内存限制下跑大模型，通常只能依赖社区用后训练量化强行压缩的模型，幻觉严重且很容易胡言乱语；官方亲自做 QAT，相当于把系统级硬件优化和精细化权重压缩打包做完，在极低配置下给出了相对扎实的智力底线。

更重要的是，它改变了端侧小模型的优化逻辑。Google 没有单纯卷更小的参数量，而是证明了只要在训练时把内存、KV 缓存和移动芯片原生指令集考虑进去，2B 级别的模型就能真正塞进廉价设备当离线助手用。这会倒逼其他开源小模型在量化部署规范上迅速跟进。