Google 上线 Gemma 2：27B 越级打两倍体量，单卡就能跑

Google 正式推出的 Gemma 2 是一套轻量级开源大模型，共有 9B 和 27B 两个参数规格。它们基于 Gemini 相同的技术架构打造，每种尺寸都包含基础预训练版和指令微调版，而且采用允许商用的许可协议开源。

这代模型最大的卖点就是越级打怪。27B 版本跑出来的成绩，可以直追体量比它大一倍以上的模型，追平了半年前顶尖闭源模型的表现。更关键的是它极其省算力，只要一张 NVIDIA H100 显卡、A100 80GB 或者单台 Google Cloud TPU 主机，就能直接跑全精度推理。

较小的 9B 版本同样凶悍，官方评测里直接压过了 Llama 3 8B 和同级别的其他开源模型。后续 Google 还会补上一款更小巧的 2.6B 版本。

它凭什么能越级发挥

能把小模型榨出大能量，主要是因为底层架构重新做了一遍。Gemma 2 的上下文窗口是 8192 token，采用 RoPE 位置编码，但塞进了好几个狠活。

首先是滑动窗口注意力机制。它没有无脑使用全局注意力，而是隔一层用一次 4096 窗口的局部注意力，剩下那一半层维持全局计算。这样既保住了长文本理解能力，又省掉了不少显存和计算时间。

其次是软截断技术，也就是 Logit soft-capping。模型在每层注意力和输出层给数值设了上限，通过 tanh 函数压制数值暴增，直接解决了小模型深度训练容易崩掉的问题。

此外，9B 模型在预训练阶段就直接用了大模型知识蒸馏，让更大更聪明的老师模型把能力喂给小模型。指令微调阶段则拉了更大体量的模型辅助蒸馏，还用上了多模型合并技术。

训练数据量也比上一代翻了倍。27B 版本啃了整整 13 万亿 token 的数据，9B 版本也吃了 8 万亿 token，主要涵盖网络文本、代码和数学内容。

硬件要求和怎么上手

这次在生态适配上做得非常快。Hugging Face Transformers、vLLM、Ollama、Keras 3.0、JAX、PyTorch 和 TensorFlow 都已经原生支持。NVIDIA 也为其优化了 TensorRT-LLM 和 NIM 微调推理组件。

部署门槛被压得很低。27B 版本可以在单个 A100 80GB 或 H100 上跑全精度。如果你是个人玩家，可以用 Gemma.cpp 在本地 CPU 跑量化版本，或者用游戏笔记本、高端台式机配合 RTX 显卡在本地运行。

模型权重目前已经上传到了 Hugging Face 和 Kaggle，Google AI Studio 里也上线了免费测试。云端用户还能去 Kaggle 或 Colab 免费配额上玩，下个月 Vertex AI 也会上线托管。

需要注意的是，目前软截断机制在推理阶段和 Flash Attention 存在一点兼容问题，微调时建议切回 eager 模式保证稳定。

为什么重要

如果你是独立开发者或中小型团队，Gemma 2 尤其是 27B 版本绝对是现在的装机首选。它把原本需要多张专业显卡拼接才能运行的高性能模型，压缩到了单卡就能跑完的水平，直接把部署成本切掉了大半。

对整个开源模型生态来说，Google 这次是用数据配比和蒸馏架构，向开源社区示范了小尺寸到底还能压榨出多少潜力。我们认为，它给 Meta 的 Llama 3 施加了真正的竞争压力，未来这种单卡可跑的高密度小模型，会越来越成为端侧落地和私有化部署的主战场。