跳到正文
IFAI

大模型

Google 推出 Gemini 文本嵌入模型:登顶 MTEB 榜单,支持更长上下文

首次发布 传播指数 49

Google 在 Gemini API 中上线实验性文本嵌入模型 gemini-embedding-exp-03-07。该模型基于 Gemini 训练,在 MTEB 多语言榜单以 68.32 分登顶,领先第二名 5.81 分。开发者可通过现有的 embed_content 接口直接调用试用。

Google 推出 Gemini 文本嵌入模型:登顶 MTEB 榜单,支持更长上下文
图:developers.googleblog.com

做大模型应用的朋友都知道,检索增强生成(RAG)做得好不好,往往不取决于生成模型有多聪明,而是取决于前面的向量模型能不能把关键资料翻出来。

过去大家用得最多的可能是各类开源模型或者专用的 Embedding 模型,而 Google 刚刚把自家的底牌掏了出来。

Google 宣布在 Gemini API 中上线全新的实验性文本嵌入模型 gemini-embedding-exp-03-07。如果你在 Vertex AI 上使用,它的名称则是 text-embedding-large-exp-03-07,官方表示未来正式发布时两边的名字会统一下来。

屠榜 MTEB 的新底牌

这个新模型最引人注目的地方,在于它直接是用 Gemini 本身训练出来的。它继承了 Gemini 对复杂语言和语境细节的理解能力,取代了 Google 之前的 text-embedding-004。

在公认的文本嵌入基准 MTEB 多语言榜单上,它直接冲到了第一名。平均任务得分达到 68.32 分,比排在它后面的竞品足足高出了 5.81 分。

按照 Google 的说法,这个模型被训练得极其通用,开箱就能在金融、科学、法律和通用搜索等专业领域打出高水平,开发者不需要为了特定场景专门去搞复杂微调。

此外,新模型还支持了更长的输入 token 长度,用来切分长文档时会比以前省事不少。

调用方式没变,但目前限流

对开发者来说,切换成本几乎是零。新模型完全兼容现有的 embed_content 端点,直接在调用代码里把模型名字换成 gemini-embedding-exp-03-07 即可。

不过需要提醒的是,它目前还挂着 exp 实验标签,配额和容量有限,随时可能调整。Google 表示正在收集开发者反馈,争取在未来几个月内推出正式稳定的商用版本。

为什么重要

我们认为,Google 直接拿前沿大模型去蒸馏和训练专有 Embedding 模型,这一步走得相当务实。

在做知识库和企业级搜索时,传统关键词匹配早就顶不住了,但很多开发者又苦于通用嵌入模型抓不住垂直领域的黑话。Google 新模型在金融、法律和学术场景开箱即用,且领先榜单第二名近 6 分,这意味着企业能直接省下一大笔微调和清洗训练集的时间成本。

对普通开发者而言,现在很值得在自己的测试集上跑一跑对比,看看它在多语言检索和长文本切片上的召回率提升。但在生产环境替换前还是要谨慎,毕竟目前官方明确说明了容量受限,拿来跑核心业务有踩坑的风险。

从行业竞争来看,基础嵌入模型一直是 OpenAI 等厂商筑起生态壁垒的护城河。Google 这一次在多语言基准上大幅拉开身位,逼着对手也得尽快更新自家落后的文本向量接口,最终受益的还是苦于 RAG 准确率的开发者们。

来源 (1)

  1. [1]
    developers.googleblog.com(在新标签页打开)原文developers.googleblog.com

每日 AI 内容精选