Google 釋出 EmbeddingGemma：3.08 億引數端側嵌入模型，斷網也能做 RAG

EmbeddingGemma 是 Google 推出的開源端側嵌入模型，體量只有 3.08 億引數。它的目標非常實在：讓你在手機或本地電腦上斷網跑語義搜尋和 RAG（檢索增強生成），敏感文件完全不用傳到雲端。

在做本地知識庫時，第一步檢索要是抓瞎，後面接再大的模型也是胡說八道。EmbeddingGemma 就是專門用來把句子和文件轉成高質量向量的，讓裝置能準確算出使用者問題和本地筆記、郵件之間的相似度。

怎麼把大模型底子改造成輕量 Encoder

一般的開源嵌入模型很多還在用老舊架構，而 EmbeddingGemma 直接複用了 Gemma 3 的骨架。

不過生成式模型用的是單向因果注意力，Google 把它改成了雙向注意力機制，把 Decoder 翻轉成了 Encoder。這種改動讓前後的詞能互相參照，在文本理解和向量檢索任務上，效率往往明顯超過單純拿大語言模型硬轉的方案。

在結構上，這 3.08 億引數由大約 1 億的模型核心引數和 2 億的嵌入表引數組成。文本經過平均池化層和全連線層後，會輸出一個 768 維的標準向量。

它還引入了俄羅斯套娃表示學習（MRL）。如果你的裝置記憶體吃緊，或者想讓向量檢索速度更快，可以把 768 維直接裁剪成 512、256 甚至 128 維來用，只損失極少精度，就能大幅省下磁碟和記憶體空間。

更取巧的是，EmbeddingGemma 和 Google 自家的端側模型 Gemma 3n 共用了同一個分詞器。如果你在同一臺裝置上搭一套完整的本地 RAG 流水線，兩者可以共享詞表，不用在記憶體裡塞進兩份重複的分詞開銷。

硬體規格與實測表現

作為一款端側模型，它的硬體門檻壓得相當低。在量化之後，模型執行所需的記憶體可以壓到 200 MB 以下，幾乎能在任何現代智慧手機或輕薄本上跑起來。

它的上下文視窗為 2048 個 token。雖然比不上雲端動輒幾十萬 token 的巨無霸，但對於切片檢索而言已經完全夠用，也能避免長輸入導致向量資訊稀釋的問題。

訓練資料方面，Google 用了約 3200 億 token 的多語言語料，覆蓋超過 100 種語言。在海量多語言文本嵌入基準（MMTEB）以及 MTEB 榜單上，EmbeddingGemma 拿下了 5 億引數以下純文本模型的最好成績。

在針對特定領域的微調上，它的潛力也不小。Hugging Face 團隊拿醫療問答資料集 MIRIAD 測試微調，訓練出的模型在科學論文檢索任務上，成績甚至超過了引數量比它大一倍的競品。

目前模型已經上線 Hugging Face，並且支援 Sentence Transformers、LangChain、LlamaIndex、Transformers.js 和 ONNX 等生態工具。Google 也表示這套技術後續會直接打進 Android 系統底層。

為什麼重要

如果你正在開發需要離線執行的個人筆記、私密相簿搜尋或者本地 AI 助手，EmbeddingGemma 是目前極少數同時兼顧輕量、高質量與多語言的開源選項。200 MB 的記憶體開銷意味著它能塞進移動端甚至瀏覽器前端，真正把隱私計算落到使用者裝置裡。

我們認為 Google 這一步走得很準。在雲端大模型捲上下文長度的時候，本地 AI 的真正痛點一直是缺少體積小、多語言好、推理極快的嵌入底座。EmbeddingGemma 填上了這塊拼圖，也給 Android 上的端側 RAG 鋪好了路。