Google 发布 EmbeddingGemma：3.08 亿参数端侧嵌入模型，断网也能做 RAG

EmbeddingGemma 是 Google 推出的开源端侧嵌入模型，体量只有 3.08 亿参数。它的目标非常实在：让你在手机或本地电脑上断网跑语义搜索和 RAG（检索增强生成），敏感文档完全不用传到云端。

在做本地知识库时，第一步检索要是抓瞎，后面接再大的模型也是胡说八道。EmbeddingGemma 就是专门用来把句子和文档转成高质量向量的，让设备能准确算出用户问题和本地笔记、邮件之间的相似度。

怎么把大模型底子改造成轻量 Encoder

一般的开源嵌入模型很多还在用老旧架构，而 EmbeddingGemma 直接复用了 Gemma 3 的骨架。

不过生成式模型用的是单向因果注意力，Google 把它改成了双向注意力机制，把 Decoder 翻转成了 Encoder。这种改动让前后的词能互相参照，在文本理解和向量检索任务上，效率往往明显超过单纯拿大语言模型硬转的方案。

在结构上，这 3.08 亿参数由大约 1 亿的模型核心参数和 2 亿的嵌入表参数组成。文本经过平均池化层和全连接层后，会输出一个 768 维的标准向量。

它还引入了俄罗斯套娃表示学习（MRL）。如果你的设备内存吃紧，或者想让向量检索速度更快，可以把 768 维直接裁剪成 512、256 甚至 128 维来用，只损失极少精度，就能大幅省下磁盘和内存空间。

更取巧的是，EmbeddingGemma 和 Google 自家的端侧模型 Gemma 3n 共用了同一个分词器。如果你在同一台设备上搭一套完整的本地 RAG 流水线，两者可以共享词表，不用在内存里塞进两份重复的分词开销。

硬件规格与实测表现

作为一款端侧模型，它的硬件门槛压得相当低。在量化之后，模型运行所需的内存可以压到 200 MB 以下，几乎能在任何现代智能手机或轻薄本上跑起来。

它的上下文窗口为 2048 个 token。虽然比不上云端动辄几十万 token 的巨无霸，但对于切片检索而言已经完全够用，也能避免长输入导致向量信息稀释的问题。

训练数据方面，Google 用了约 3200 亿 token 的多语言语料，覆盖超过 100 种语言。在海量多语言文本嵌入基准（MMTEB）以及 MTEB 榜单上，EmbeddingGemma 拿下了 5 亿参数以下纯文本模型的最好成绩。

在针对特定领域的微调上，它的潜力也不小。Hugging Face 团队拿医疗问答数据集 MIRIAD 测试微调，训练出的模型在科学论文检索任务上，成绩甚至超过了参数量比它大一倍的竞品。

目前模型已经上线 Hugging Face，并且支持 Sentence Transformers、LangChain、LlamaIndex、Transformers.js 和 ONNX 等生态工具。Google 也表示这套技术后续会直接打进 Android 系统底层。

为什么重要

如果你正在开发需要离线运行的个人笔记、私密相册搜索或者本地 AI 助手，EmbeddingGemma 是目前极少数同时兼顾轻量、高质量与多语言的开源选项。200 MB 的内存开销意味着它能塞进移动端甚至浏览器前端，真正把隐私计算落到用户设备里。

我们认为 Google 这一步走得很准。在云端大模型卷上下文长度的时候，本地 AI 的真正痛点一直是缺少体积小、多语言好、推理极快的嵌入底座。EmbeddingGemma 填上了这块拼图，也给 Android 上的端侧 RAG 铺好了路。