跳到正文
IFAI

大模型

Google 发布 Gemini 3.5 Transcribe:错词率仅 2.6%,支持 85+ 种语言

首次发布 传播指数 51

Google 发布语音转文字模型 Gemini 3.5 Transcribe。经测其非流式词错误率仅 2.6%、流式 4.0%,支持 85+ 种语言,能自动过滤语气词并支持口头纠错。该模型已上线 Google AI Studio 供开发者调用。

Google 发布 Gemini 3.5 Transcribe:错词率仅 2.6%,支持 85+ 种语言
图:blog.google

用语音输入发消息或做会议纪要时,最让人头疼的就是满嘴的「嗯」「啊」,以及说到一半突然改口说「不对,改成下午三点」。传统的语音识别工具通常会把你所有的口误和语气词照单全收,留下一堆乱糟糟的文字让你手动修改。

Google 正式推出了全新的语音转文字模型 Gemini 3.5 Transcribe。它最大的变化,就是不再只当一个死板的听写员,而是开始理解你的真实表达意图。

不只听得准,还会自动帮你「打草稿」

根据评测机构 Artificial Analysis 的实测,Gemini 3.5 Transcribe 在处理预录音频时的词错误率(WER)只有 2.6%,实时流式转录的错误率也压到了 4.0%。相比 Google 上一代的 Chirp 3 模型,新模型的最终转录耗时缩短了 70%,在 FLEURS 多语言基准测试中,流式和非流式错误率分别达到 5.50% 和 5.04%。

比单纯的准确率更有意思的是它的智能清洗能力。模型提供了逐字记录和智能转录两种模式。在智能模式下,你说「来杯大杯拿铁加燕麦奶,不对,换成中杯」,它打出来的文字会直接修正为中杯;那些下意识说出来的语气词会被自动剔除,邮编和订单编号这类复杂的字母数字混排也能准确辨识。

它还支持超过 85 种语言的自动检测,甚至能应对一句话里混杂多国语言的情况,中途在英语、西班牙语和印地语之间无缝切换也不会卡壳。针对会议录音,它能对最多三位说话人进行精准区分,并附带词级时间戳。

语音输入变成了系统级调度入口

Google 并没有把它单纯当成一个 API 接口,而是直接嵌进了自家生态。开发者目前可以在 Google AI Studio 和企业级代理平台上调用该模型,接口分为面向实时交互的 Live API 和处理录音文件的 Interactions API。

在终端产品上,Android 的 Gboard 键盘通过 Rambler 功能引入了该模型,支持直接口述修改文字和切换文风;macOS 版的 Gemini 客户端则更进一步,允许模型通过函数调用去指挥后台的其他 Gemini 模型,你动动嘴就能让它结合屏幕内容去总结本地文件或者生成配图;这项能力后续还会覆盖 Chrome 浏览器的所有网页输入框。

包括 vivo、LangChain、LiveKit 和 Vercel 在内的外部厂商与平台,也已经开始把该模型接入自家的语音管线。

为什么重要

我们认为,Google 这次最聪明的做法,是把语音识别和初级语义理解做进了一道工序里。

过去搭建一个好用的语音 Agent,开发者通常要先用语音模型转成文字,再调用一个大模型去清洗语气词、纠正倒装口误,这不仅多花了一份推理成本,还平白增加了交互延迟。Gemini 3.5 Transcribe 在输出阶段就把这些杂质过滤掉了,这对需要亚秒级响应的实时语音交互场景来说是个非常实用的升级。

对于日常办公和普通用户来说,动嘴输入的心理门槛终于变低了。你不再需要字正腔圆地像播音员一样说话,哪怕语无伦次、反复改口,它也能整理出一份干净规整的文本。

不过它的边界也很明确。针对三人以上的多人会议话者分离目前依然挂着实验性标签,复杂讨论场景的表现仍需观察;此外,虽然语音触发系统操作的功能很诱人,但目前主要依赖 macOS 客户端等特定生态,普通用户想要在网页和移动端全面体验这种交互,还得等 Chrome 等入口正式推送。

来源 (2)

  1. [1]
    blog.google(在新标签页打开)原文blog.google
  2. [2]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选