跳到正文
IFAI

大模型

Google 釋出 Gemini 3.5 Transcribe:錯詞率僅 2.6%,支援 85+ 種語言

首次發布 傳播指數 51

Google 釋出語音轉文字模型 Gemini 3.5 Transcribe。經測其非流式詞錯誤率僅 2.6%、流式 4.0%,支援 85+ 種語言,能自動過濾語氣詞並支援口頭糾錯。該模型已上線 Google AI Studio 供開發者呼叫。

Google 釋出 Gemini 3.5 Transcribe:錯詞率僅 2.6%,支援 85+ 種語言
圖:blog.google

用語音輸入發訊息或做會議紀要時,最讓人頭疼的就是滿嘴的「嗯」「啊」,以及說到一半突然改口說「不對,改成下午三點」。傳統的語音識別工具通常會把你所有的口誤和語氣詞照單全收,留下一堆亂糟糟的文字讓你手動修改。

Google 正式推出了全新的語音轉文字模型 Gemini 3.5 Transcribe。它最大的變化,就是不再只當一個死板的聽寫員,而是開始理解你的真實表達意圖。

不只聽得準,還會自動幫你「打草稿」

根據評測機構 Artificial Analysis 的實測,Gemini 3.5 Transcribe 在處理預錄音頻時的詞錯誤率(WER)只有 2.6%,即時流式轉錄的錯誤率也壓到了 4.0%。相比 Google 上一代的 Chirp 3 模型,新模型的最終轉錄耗時縮短了 70%,在 FLEURS 多語言基準測試中,流式和非流式錯誤率分別達到 5.50% 和 5.04%。

比單純的準確率更有意思的是它的智慧清洗能力。模型提供了逐字記錄和智慧轉錄兩種模式。在智慧模式下,你說「來杯大杯拿鐵加燕麥奶,不對,換成中杯」,它打出來的文字會直接修正為中杯;那些下意識說出來的語氣詞會被自動剔除,郵編和訂單編號這類複雜的字母數字混排也能準確辨識。

它還支援超過 85 種語言的自動檢測,甚至能應對一句話裡混雜多國語言的情況,中途在英語、西班牙語和印地語之間無縫切換也不會卡殼。針對會議錄音,它能對最多三位說話人進行精準區分,並附帶詞級時間戳。

語音輸入變成了系統級排程入口

Google 並沒有把它單純當成一個 API 介面,而是直接嵌進了自家生態。開發者目前可以在 Google AI Studio 和企業級代理平臺上呼叫該模型,介面分為面向即時互動的 Live API 和處理錄音檔案的 Interactions API。

在終端產品上,Android 的 Gboard 鍵盤通過 Rambler 功能引入了該模型,支援直介面述修改文字和切換文風;macOS 版的 Gemini 客戶端則更進一步,允許模型通過函式呼叫去指揮後臺的其他 Gemini 模型,你動動嘴就能讓它結合螢幕內容去總結本地檔案或者生成配圖;這項能力後續還會覆蓋 Chrome 瀏覽器的所有網頁輸入框。

包括 vivo、LangChain、LiveKit 和 Vercel 在內的外部廠商與平臺,也已經開始把該模型接入自家的語音管線。

為什麼重要

我們認為,Google 這次最聰明的做法,是把語音識別和初級語義理解做進了一道工序裡。

過去搭建一個好用的語音 Agent,開發者通常要先用語音模型轉成文字,再呼叫一個大模型去清洗語氣詞、糾正倒裝口誤,這不僅多花了一份推理成本,還平白增加了互動延遲。Gemini 3.5 Transcribe 在輸出階段就把這些雜質過濾掉了,這對需要亞秒級響應的即時語音互動場景來說是個非常實用的升級。

對於日常辦公和普通使用者來說,動嘴輸入的心理門檻終於變低了。你不再需要字正腔圓地像播音員一樣說話,哪怕語無倫次、反覆改口,它也能整理出一份乾淨規整的文本。

不過它的邊界也很明確。針對三人以上的多人會議話者分離目前依然掛著實驗性標籤,複雜討論場景的表現仍需觀察;此外,雖然語音觸發系統操作的功能很誘人,但目前主要依賴 macOS 客戶端等特定生態,普通使用者想要在網頁和移動端全面體驗這種互動,還得等 Chrome 等入口正式推送。

來源 (2)

  1. [1]
    blog.google(在新分頁開啟)原文blog.google
  2. [2]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選