Google 发布开源模型 Gemma 3：支持多模态与 128K 上下文

Gemma 3 是 Google 最新推出的开源权重模型家族，提供 1B、4B、12B 和 27B 四种参数尺寸。除了最小的 1B 为纯文本模型外，其余三个版本均支持图文多模态输入，上下文窗口统一拉升至 128k，并支持超过 140 种语言。

它能做什么

你可以用 Gemma 3 来做长文档总结、图表与图像分析，以及多语言问答。小巧的 1B 版本上下文长度从上一代的 8k 增加到 32k，而 4B、12B 和 27B 版本则直接支持 128k 上下文。

所有尺寸都同步放出了预训练基座版和指令微调版。虽然具备多模态能力，但在实际部署中，如果你只需要处理纯文本，可以直接不加载图像编码器，按普通大语言模型运行，能省下不少显存。

性能上的跨度相当明显。官方评测数据显示，4B 指令微调版的跑分超过了上一代的 Gemma 2 27B，而 27B 指令微调版在多个基准测试中超越了闭源的 Gemini 1.5 Pro。

怎么做到的

为了把上下文扩展到 128k 并控制算力成本，开发团队没有全程从头硬训，而是在预训练大部分阶段采用 32k 序列，只在预训练尾声才将 4B、12B 和 27B 扩展至 128k。位置编码 RoPE 基频从上一代的 10k 提高到 1M，并放大了 8 倍。

在显存管理上，模型优化了滑动窗口交替注意力机制，将结构调整为 5 层局部注意力对应 1 层全局注意力，滑动窗口缩小至 1024 token，大幅降低了 KV 缓存的内存占用。

视觉方面，模型采用 SigLIP 编码器，输入分辨率固定为 896x896。遇到高分辨率或非正方形图片时，算法会自适应裁剪细节并放大编码。图像 token 享有完整的双向注意力，文本 token 则保持单向因果注意力。多语言预训练数据量相比前代翻倍，并换用了 Gemini 2.0 的分词器。

目前全部模型权重已在 Hugging Face 开源上线，官方也提供了可在浏览器直接体验的试用空间。

为什么重要

对于想在本地或端侧跑大模型的开发者来说，Gemma 3 很值得立刻下载尝试。4B 尺寸能跑赢上一代 27B，意味着普通笔记本或单张消费级显卡就能胜任高质量的图文分析任务，部署门槛大大降低。

而在大尺寸端，27B 模型在性能上压过闭源的 Gemini 1.5 Pro，进一步证明了开源权重在长上下文与多模态领域的竞争力。Google 持续把前沿能力下放到开源社区，无疑会让其他开源阵营的对手感受到不小的压力。