Google 开源轻量模型 Gemma：笔记本能跑，允许商用

Gemma 是 Google 推出的一组轻量级开源大语言模型，能让你在普通的笔记本或台式机上直接本地运行顶尖的语言模型。

它基于打造 Gemini 的同套架构与技术构建，分为 2B 和 7B 两个参数规格，每个规格都同时提供预训练基座模型和指令微调版本，上下文长度均为 8K token。

它能做什么与硬件要求

Gemma 专为端侧计算和本地开发优化。得益于较小的体积，你完全不需要动用昂贵的多卡算力集群，就能在个人设备上跑起这套模型。

2B 版本适合在普通 CPU、移动设备或单张入门显卡上部署，在消费级硬件上甚至无需量化就能直接运行。7B 版本则更适合消费级 GPU、TPU 或工作站环境。

Google 对 Gemma 开放了权重，并采用了较为宽松的专属许可协议，无论团队规模大小，都允许进行商业化落地。同时配套提供的还有负责任生成式 AI 工具包，用来帮助开发者排查模型偏见并搭建安全防护层。

实际效果与同类对比

根据 Hugging Face 榜单公布的数据，7B 版本的预训练模型在 6T token 的海量数据上训练而成，基准测试跑分达到 63.75。这个成绩不仅远超 Llama 2 7B 的 54.32 分，也超过了同级别的开源标杆 Mistral 7B 的 60.97 分，逼近参数量大得多的 Llama 2 70B。

2B 版本在 2T token 上完成训练，跑分为 46.51 分。虽然在轻量模型里表现不错，但面对参数规模接近的微软 Phi-2（61.33 分），在纯基准跑分上依然稍逊一筹。

需要注意的是，Gemma 的 Instruct 版本采用了非常严格的对话标记结构，包含特定的前后缀标记。如果想要微调出稳定的聊天效果，必须严格遵循这套格式。

怎么上手和试用

整个开源生态对 Gemma 的适配非常迅速。代码层面，它原生支持 PyTorch、JAX，以及通过 Keras 3.0 兼容 TensorFlow。Hugging Face 在 Transformers 4.38 版本中已经全面支持 Gemma，支持 4-bit 量化和单卡微调。

想要立刻体验的话，可以在 Hugging Face Hub 上直接下载权重，或者在 Hugging Chat 上体验在线指令对话 Demo。

如果你习惯在线 Notebook，Kaggle 和 Colab 均提供了开箱即用的免费运行环境。Google Cloud 也为新注册用户提供 300 美元的云端资源额度，方便在 Vertex AI 上一键部署。

为什么重要

如果你是独立开发者或正在为边缘端、本地设备寻找语言模型，Gemma 7B 非常值得现在上手替换旧有的 7B 模型。它在保持极低运行门槛的同时，把同尺寸模型的实际理解能力拉到了新的高度。

对开源领域来说，Google 拿出了自家的 Gemini 核心技术下场开源，直接给 Meta 的 Llama 家族和 Mistral 带来了直接压力。轻量、低硬件要求且允许商用的开源小模型，正在迅速成为开发者生态中最实用的主力军。