Google 发布 Gemini Embedding 2：图文音视打进同一向量空间

过去要做多模态检索或者 RAG，流程往往复杂得让人头疼。图片要跑一遍 CLIP，音频得先调语音模型转写成文字，视频还得抽帧再切音频，最后还要想办法把这些不同维度的向量硬凑到一起。

Google 刚刚推出的 Gemini Embedding 2，就是想把这套麻烦的流水线彻底干掉。这是 Google 第一个基于 Gemini 架构的原生多模态嵌入模型，目前已经在 Gemini API 和 Vertex AI 上开启公开预览。

说白了，它把文字、图片、视频、音频以及 PDF 文档，全都塞进了同一个统一的向量空间，跨越了 100 多种语言。

音频不用先转文字，支持图文混着塞

这次最大的看点，在于它是真正原生的多模态处理，而不是拼凑出来的封装。

文本方面，它最高支持 8192 个 token 的上下文。但在非文本部分，它的规格更值得看。

单次请求里，你可以直接传最多 6 张 PNG 或 JPEG 图片，或者最长 120 秒的 MP4、MOV 格式视频。PDF 文档也能直接传，最长支持 6 页。

最省事的是音频。过去给语音做向量化，基本都得先过一遍 Whisper 之类的模型把声音变成文字，丢掉语气和声学信息不说，还多了一道延迟。Gemini Embedding 2 原生吃进音频数据，完全跳过了中间的转写步骤。

而且它支持交错输入。也就是说，你可以在单次请求里同时传图片和文字，模型会直接去理解它们之间的关联，而不是分开算几个向量再拼起来。

为了不让向量数据库被撑爆，Google 同样给它用了套娃表示学习技术。默认输出维度是 3072，但开发者可以根据存储预算向下裁剪，官方推荐的尺寸是 3072、1536 和 768 三档。

目前主流的工具链都已经跟进，包括 LangChain、LlamaIndex、Haystack，以及 Weaviate、QDrant、ChromaDB 等向量数据库。

为什么重要

我们认为，Gemini Embedding 2 这一步走得相当务实，它直接击中了多模态应用落地时最繁琐的痛点。

对开发者和企业来说，最直接的价值是架构大瘦身。如果你在做客服录音分析、视频片段检索或者图文混排手册的智能问答，现在不需要再维护三四套不同的模型流水线，只要一个 API 就能搞定入库和检索。

在行业层面，这看起来是在给下一代多模态 RAG 树立标准。纯文本 RAG 已经卷到了瓶颈，但跨模态检索一直因为向量对齐困难而雷声大雨点小。Google 把大模型层面的原生多模态直接下沉到向量层，会逼着其他大模型厂商加快推出类似的原生多模态向量底座。

不过它也并非没有隐患。最明显的限制在于容量规格：120 秒视频和 6 页 PDF 应对短内容还行，一旦遇到长财报或几十分钟的会议录像，开发者依然得自己做切片。切片怎么切、跨切片上下文怎么维持，这些工程脏活依然跑不掉。

但即便如此，如果你正在构建涉及图像、音频或短视频的检索系统，我们认为现在就非常值得去 Vertex AI 或 API 里测试一下，哪怕只是为了省掉音频转写的中间成本，它的收益也已经足够明显。