跳到正文
IFAI

大模型

Google 推出 Gemini 文本嵌入模型:登頂 MTEB 榜單,支援更長上下文

首次發布 傳播指數 49

Google 在 Gemini API 中上線實驗性文本嵌入模型 gemini-embedding-exp-03-07。該模型基於 Gemini 訓練,在 MTEB 多語言榜單以 68.32 分登頂,領先第二名 5.81 分。開發者可通過現有的 embed_content 介面直接呼叫試用。

Google 推出 Gemini 文本嵌入模型:登頂 MTEB 榜單,支援更長上下文
圖:developers.googleblog.com

做大模型應用的朋友都知道,檢索增強生成(RAG)做得好不好,往往不取決於生成模型有多聰明,而是取決於前面的向量模型能不能把關鍵資料翻出來。

過去大家用得最多的可能是各類開源模型或者專用的 Embedding 模型,而 Google 剛剛把自家的底牌掏了出來。

Google 宣佈在 Gemini API 中上線全新的實驗性文本嵌入模型 gemini-embedding-exp-03-07。如果你在 Vertex AI 上使用,它的名稱則是 text-embedding-large-exp-03-07,官方表示未來正式釋出時兩邊的名字會統一下來。

屠榜 MTEB 的新底牌

這個新模型最引人注目的地方,在於它直接是用 Gemini 本身訓練出來的。它繼承了 Gemini 對複雜語言和語境細節的理解能力,取代了 Google 之前的 text-embedding-004。

在公認的文本嵌入基準 MTEB 多語言榜單上,它直接衝到了第一名。平均任務得分達到 68.32 分,比排在它後面的競品足足高出了 5.81 分。

按照 Google 的說法,這個模型被訓練得極其通用,開箱就能在金融、科學、法律和通用搜索等專業領域打出高水平,開發者不需要為了特定場景專門去搞複雜微調。

此外,新模型還支援了更長的輸入 token 長度,用來切分長文件時會比以前省事不少。

呼叫方式沒變,但目前限流

對開發者來說,切換成本幾乎是零。新模型完全相容現有的 embed_content 端點,直接在呼叫程式碼裡把模型名字換成 gemini-embedding-exp-03-07 即可。

不過需要提醒的是,它目前還掛著 exp 實驗標籤,配額和容量有限,隨時可能調整。Google 表示正在收集開發者反饋,爭取在未來幾個月內推出正式穩定的商用版本。

為什麼重要

我們認為,Google 直接拿前沿大模型去蒸餾和訓練專有 Embedding 模型,這一步走得相當務實。

在做知識庫和企業級搜尋時,傳統關鍵詞匹配早就頂不住了,但很多開發者又苦於通用嵌入模型抓不住垂直領域的黑話。Google 新模型在金融、法律和學術場景開箱即用,且領先榜單第二名近 6 分,這意味著企業能直接省下一大筆微調和清洗訓練集的時間成本。

對普通開發者而言,現在很值得在自己的測試集上跑一跑對比,看看它在多語言檢索和長文本切片上的召回率提升。但在生產環境替換前還是要謹慎,畢竟目前官方明確說明了容量受限,拿來跑核心業務有踩坑的風險。

從行業競爭來看,基礎嵌入模型一直是 OpenAI 等廠商築起生態壁壘的護城河。Google 這一次在多語言基準上大幅拉開身位,逼著對手也得儘快更新自家落後的文本向量介面,最終受益的還是苦於 RAG 準確率的開發者們。

來源 (1)

  1. [1]
    developers.googleblog.com(在新分頁開啟)原文developers.googleblog.com

每日 AI 內容精選