跳到正文
IFAI

大模型

Google 升級 Gemini 原生音訊:多輪對話更穩,翻譯 App 上線即時同傳

首次發布 傳播指數 51

Google 推出升級版 Gemini 2.5 Flash Native Audio,大幅提升了語音智慧體的工具呼叫準確率和長對話連貫性。同時 Google 翻譯 App 上線耳機即時同傳測試版,支援 70 多種語言雙向交流,還能保留說話者的語調與節奏。

Google 升級 Gemini 原生音訊:多輪對話更穩,翻譯 App 上線即時同傳
圖:blog.google

過去跨國開會或者在國外問路,最尷尬的不是聽不懂,而是兩個人舉著手機等它機械地吐出一句毫無感情的機翻。

Google 這次想把這種尷尬徹底抹掉。他們推出了更新後的 Gemini 2.5 Flash Native Audio 原生音訊模型,並且直接把流式語音互譯塞進了 Google Translate 應用。

戴上耳機,給現實世界裝一個即時字幕

這次更新最抓人的功能,是 Google Translate 裡新上線的耳機即時語音互譯測試版。

它不是先把語音轉成文本、翻譯完再合成語音的老路子,而是端到端的原生語音流式轉換。最關鍵的是,它能保留說話人的語氣、語調和語速。

你可以開啟持續傾聽模式,戴著耳機走在異國街頭,周圍講不同外語的聲音會被即時翻譯成你的母語送進耳朵;如果是雙向對話,你戴耳機聽對方的翻譯,手機揚聲器則對外播放你的外語回答。

這項功能支援超過 70 種語言和 2000 多個語言對,並且對任何耳機都通用。Google 表示它具備抗噪和自動語言識別能力,目前已在美國、墨西哥和印度的 Android 端推送,iOS 和更多地區預計 2026 年上線。

順帶更新的還有 Google Translate 的文本翻譯能力,依託 Gemini 解析俚語與成語,比如翻譯「stealing my thunder」這類短語時不再生硬直譯。同時,應用內的語言學習練習也擴充套件到了近 20 個國家和地區。

搞定真實業務的語音 Agent

對開發者和企業來說,Gemini 2.5 Flash Native Audio 解決的是另一塊心病:語音助手的反應不夠聰明。

原生音訊模型的指令遵循率從原本的 84% 提高到了 90%。在測試多步驟外部工具呼叫的 ComplexFuncBench Audio 基準上,它拿下了 71.5% 的得分,能在對話中順暢調取即時資訊再織入回答,不卡殼、不打斷節奏。

企業端已經跑出了一些實際資料。比如 Shopify 表示商家用它的 Sidekick 工具時,很多人不到一分鐘就會忘記對面是 AI;全美批發抵押貸款公司 UWM 則透露,接入該模型後已經幫經紀人促成了超過 1.4 萬筆貸款;AI 前臺開發商 Newo.ai 也提到它能在噪雜環境精準鎖定主講人並隨時切語言。

目前這個模型已經登陸 Google AI Studio、Vertex AI,並在 Gemini Live 和 Search Live 中灰度上線,這也是原生音訊能力第一次進到 Search Live。

為什麼重要

我們認為,Google 這次展示的是原生多模態音訊模型最紮實的一個落地範式。

長期以來,語音助理和同傳軟體最大的斷層就在於「生硬」與「延遲」。傳統管道式的語音識別、文本翻譯、語音合成三步走,不僅延時長,還會丟失說話者的情緒和停頓。

把端到端語音轉語音直接做進手機和普通耳機,意味著普通人不需要買專用硬體,就能獲得類似科幻電影裡的即時隨身翻譯。如果你經常需要跨國出差、聽外語講座,這項功能一旦全面鋪開,實用價值會非常高。

對行業而言,Google 正在利用其龐大的 Android 生態和 Translate 入口,把大模型的原生音訊能力迅速管道化、基礎設施化。這會直接給像 OpenAI 的高階語音模式施加壓力,逼迫對手加快把前沿語音能力落到普通工具產品中。

不過看起來也有侷限。流式端到端翻譯在網路波動或極度嘈雜的場景下表現究竟如何,還需要更大範圍的日常檢驗;而且 iOS 使用者和大多數國家還要等到 2026 年才能用上,這場語音互動的換代才剛剛開局。

來源 (2)

  1. [1]
    blog.google(在新分頁開啟)原文blog.google
  2. [2]
    blog.google(在新分頁開啟)報導blog.google

每日 AI 內容精選