跳到正文
IFAI

大模型

Google 宣布 Gemini Embedding 2 正式可用:跨音视频统一检索

首次发布 传播指数 49

Google 宣布原生多模态嵌入模型 Gemini Embedding 2 正式可用。它支持在文本、图像、视频和音频之间进行统一检索与推理,省去以往拼凑工具的繁琐流程。目前开发者可通过 Gemini API 直接投入生产使用。

Google 宣布 Gemini Embedding 2 正式可用:跨音视频统一检索
图:blog.google

过去做多模态检索,工程师最头疼的就是拼积木:文本用一套向量模型,图片用另一套,视频和音频还得各自切片转码,最后还要想办法把它们硬凑到一起。

Google 宣布其原生多模态向量模型 Gemini Embedding 2 正式商用,通过 Gemini API、Vertex AI 以及 Gemini Enterprise Agent Platform 全面开放。

文本图片视频音频,统一塞进一个向量空间

Gemini Embedding 2 最大的特点在于原生支持文本、图像、视频和音频。数据送进去后,可以在同一个向量空间里直接进行跨模态检索和推理,省去了以往割裂繁琐的数据处理流水线。

在预览阶段,开发者已经用它搭建了电商商品发现引擎和视频分析工具。Google 表示,这项技术此前也是支撑其内部多款核心产品的底层能力,这次正式商用主要带来了生产级别的稳定性和针对性优化。

为什么重要

对于做内容搜索、电商推荐或知识库检索的开发者来说,Gemini Embedding 2 意味着终于不用再维护多套相互独立的嵌入模型了。你现在可以用一句话,直接搜出包含对应画面的视频片段或某段特定音频,开发门槛大幅降低。

我们认为,Google 这一步走得相当实在。多模态大模型的生成能力大家都在卷,但企业落地最先需要的其实是更准、更轻便的多模态检索。把内部自用的底层基础设施直接打包成生产级 API,既强化了 Google 云端生态的吸引力,也切中了多模态 RAG(检索增强生成)最关键的痛点。

来源 (1)

  1. [1]
    blog.google(在新标签页打开)原文blog.google

每日 AI 内容精选