跳到正文
IFAI

大模型

Google 升级 Gemini 原生音频:多轮对话更稳,翻译 App 上线实时同传

首次发布 传播指数 51

Google 推出升级版 Gemini 2.5 Flash Native Audio,大幅提升了语音智能体的工具调用准确率和长对话连贯性。同时 Google 翻译 App 上线耳机实时同传测试版,支持 70 多种语言双向交流,还能保留说话者的语调与节奏。

Google 升级 Gemini 原生音频:多轮对话更稳,翻译 App 上线实时同传
图:blog.google

过去跨国开会或者在国外问路,最尴尬的不是听不懂,而是两个人举着手机等它机械地吐出一句毫无感情的机翻。

Google 这次想把这种尴尬彻底抹掉。他们推出了更新后的 Gemini 2.5 Flash Native Audio 原生音频模型,并且直接把流式语音互译塞进了 Google Translate 应用。

戴上耳机,给现实世界装一个实时字幕

这次更新最抓人的功能,是 Google Translate 里新上线的耳机实时语音互译测试版。

它不是先把语音转成文本、翻译完再合成语音的老路子,而是端到端的原生语音流式转换。最关键的是,它能保留说话人的语气、语调和语速。

你可以开启持续倾听模式,戴着耳机走在异国街头,周围讲不同外语的声音会被实时翻译成你的母语送进耳朵;如果是双向对话,你戴耳机听对方的翻译,手机扬声器则对外播放你的外语回答。

这项功能支持超过 70 种语言和 2000 多个语言对,并且对任何耳机都通用。Google 表示它具备抗噪和自动语言识别能力,目前已在美国、墨西哥和印度的 Android 端推送,iOS 和更多地区预计 2026 年上线。

顺带更新的还有 Google Translate 的文本翻译能力,依托 Gemini 解析俚语与成语,比如翻译「stealing my thunder」这类短语时不再生硬直译。同时,应用内的语言学习练习也扩展到了近 20 个国家和地区。

搞定真实业务的语音 Agent

对开发者和企业来说,Gemini 2.5 Flash Native Audio 解决的是另一块心病:语音助手的反应不够聪明。

原生音频模型的指令遵循率从原本的 84% 提高到了 90%。在测试多步骤外部工具调用的 ComplexFuncBench Audio 基准上,它拿下了 71.5% 的得分,能在对话中顺畅调取实时信息再织入回答,不卡壳、不打断节奏。

企业端已经跑出了一些实际数据。比如 Shopify 表示商家用它的 Sidekick 工具时,很多人不到一分钟就会忘记对面是 AI;全美批发抵押贷款公司 UWM 则透露,接入该模型后已经帮经纪人促成了超过 1.4 万笔贷款;AI 前台开发商 Newo.ai 也提到它能在噪杂环境精准锁定主讲人并随时切语言。

目前这个模型已经登陆 Google AI Studio、Vertex AI,并在 Gemini Live 和 Search Live 中灰度上线,这也是原生音频能力第一次进到 Search Live。

为什么重要

我们认为,Google 这次展示的是原生多模态音频模型最扎实的一个落地范式。

长期以来,语音助理和同传软件最大的断层就在于「生硬」与「延迟」。传统管道式的语音识别、文本翻译、语音合成三步走,不仅延时长,还会丢失说话者的情绪和停顿。

把端到端语音转语音直接做进手机和普通耳机,意味着普通人不需要买专用硬件,就能获得类似科幻电影里的实时随身翻译。如果你经常需要跨国出差、听外语讲座,这项功能一旦全面铺开,实用价值会非常高。

对行业而言,Google 正在利用其庞大的 Android 生态和 Translate 入口,把大模型的原生音频能力迅速管道化、基础设施化。这会直接给像 OpenAI 的高级语音模式施加压力,逼迫对手加快把前沿语音能力落到普通工具产品中。

不过看起来也有局限。流式端到端翻译在网络波动或极度嘈杂的场景下表现究竟如何,还需要更大范围的日常检验;而且 iOS 用户和大多数国家还要等到 2026 年才能用上,这场语音交互的换代才刚刚开局。

来源 (2)

  1. [1]
    blog.google(在新标签页打开)原文blog.google
  2. [2]
    blog.google(在新标签页打开)报道blog.google

每日 AI 内容精选