Google 釋出 Gemini Embedding 2：圖文音視打進同一向量空間

過去要做多模態檢索或者 RAG，流程往往復雜得讓人頭疼。圖片要跑一遍 CLIP，音訊得先調語音模型轉寫成文字，影片還得抽幀再切音訊，最後還要想辦法把這些不同維度的向量硬湊到一起。

Google 剛剛推出的 Gemini Embedding 2，就是想把這套麻煩的流水線徹底幹掉。這是 Google 第一個基於 Gemini 架構的原生多模態嵌入模型，目前已經在 Gemini API 和 Vertex AI 上開啟公開預覽。

說白了，它把文字、圖片、影片、音訊以及 PDF 文件，全都塞進了同一個統一的向量空間，跨越了 100 多種語言。

音訊不用先轉文字，支援圖文混著塞

這次最大的看點，在於它是真正原生的多模態處理，而不是拼湊出來的封裝。

文本方面，它最高支援 8192 個 token 的上下文。但在非文本部分，它的規格更值得看。

單次請求裡，你可以直接傳最多 6 張 PNG 或 JPEG 圖片，或者最長 120 秒的 MP4、MOV 格式影片。PDF 文件也能直接傳，最長支援 6 頁。

最省事的是音訊。過去給語音做向量化，基本都得先過一遍 Whisper 之類的模型把聲音變成文字，丟掉語氣和聲學資訊不說，還多了一道延遲。Gemini Embedding 2 原生吃進音訊資料，完全跳過了中間的轉寫步驟。

而且它支援交錯輸入。也就是說，你可以在單次請求裡同時傳圖片和文字，模型會直接去理解它們之間的關聯，而不是分開算幾個向量再拼起來。

為了不讓向量資料庫被撐爆，Google 同樣給它用了套娃表示學習技術。預設輸出維度是 3072，但開發者可以根據儲存預算向下裁剪，官方推薦的尺寸是 3072、1536 和 768 三檔。

目前主流的工具鏈都已經跟進，包括 LangChain、LlamaIndex、Haystack，以及 Weaviate、QDrant、ChromaDB 等向量資料庫。

為什麼重要

我們認為，Gemini Embedding 2 這一步走得相當務實，它直接擊中了多模態應用落地時最繁瑣的痛點。

對開發者和企業來說，最直接的價值是架構大瘦身。如果你在做客服錄音分析、影片片段檢索或者圖文混排手冊的智慧問答，現在不需要再維護三四套不同的模型流水線，只要一個 API 就能搞定入庫和檢索。

在行業層面，這看起來是在給下一代多模態 RAG 樹立標準。純文本 RAG 已經卷到了瓶頸，但跨模態檢索一直因為向量對齊困難而雷聲大雨點小。Google 把大模型層面的原生多模態直接下沉到向量層，會逼著其他大模型廠商加快推出類似的原生多模態向量底座。

不過它也並非沒有隱患。最明顯的限制在於容量規格：120 秒影片和 6 頁 PDF 應對短內容還行，一旦遇到長財報或幾十分鐘的會議錄影，開發者依然得自己做切片。切片怎麼切、跨切片上下文怎麼維持，這些工程髒活依然跑不掉。

但即便如此，如果你正在構建涉及影像、音訊或短影片的檢索系統，我們認為現在就非常值得去 Vertex AI 或 API 裡測試一下，哪怕只是為了省掉音訊轉寫的中間成本，它的收益也已經足夠明顯。