跳到正文
IFAI

大模型

Google 釋出 Gemini 3.5 Live Translate:70 種語言準即時同傳,保留原聲音調

首次發布 傳播指數 58

Google 釋出即時語音翻譯模型 Gemini 3.5 Live Translate。它不同於說完才翻的舊模式,僅落後說話人數秒即可連續翻譯 70 多種語言,並保留原聲音調與節奏。開發者即日起可呼叫 API,移動端 Google 翻譯和 Google Meet 也同步接入。

Google 釋出 Gemini 3.5 Live Translate:70 種語言準即時同傳,保留原聲音調
圖:blog.google

跨國開會或者出國打車最尷尬的瞬間,莫過於你說完一段話,兩個人得乾瞪眼等手機載入三秒鐘,接著蹦出一句冰冷機械的電子音。

Google 想把這種彆扭感徹底掐死。他們剛推出了語音模型 Gemini 3.5 Live Translate,專門用來做低延遲的即時同傳。它支援 70 多種語言自動識別,並且只比說話人慢幾秒鐘,連說話人的語氣、語調和語速都能原樣保留下來。

像真人同傳一樣,邊聽邊翻

過去的語音翻譯基本是輪流對話模式:你必須說完、停頓,系統判定你講完了,才開始語音轉文字、文字翻譯,最後再合成語音念出來。

Gemini 3.5 Live Translate 走的是連續流式處理。它一邊聽一邊動態權衡:既不傻等整句話講完,也不盲目字對字硬翻,而是在保證語境準確的前提下持續吐出翻譯語音。不僅沒有惱人的停頓,還能抗噪,吵鬧的大街上也能用。

為了壓到極低延遲,Google 在開發者文件裡明確做了取捨:這個專有模型把工具呼叫、搜尋、Agent 代理和影像影片等多模態輸入全砍了,純粹只接音訊、吐音訊。

生成的所有聲音裡,Google 都用 SynthID 技術織入了人耳聽不見的水印,用來防範偽造。

手機貼耳就能聽,開會不再只有英語

新模型已經分批落到了產品裡。開發者今天可以在 Google AI Studio 和 Gemini Live API 裡拿到公開預覽版,Agora、LiveKit、Pipecat 等音影片平臺也接好了底層推流支援。

普通使用者在 iOS 和 Android 的 Google 翻譯應用裡戴上耳機就能用。Android 端還多了一個挺實用的「聽筒模式」:沒有耳機時,像接電話一樣把手機貼在耳朵上,就能私密收聽西班牙語導遊講解的即時英語同傳,聲音不外放。

企業端變化更大。Google Meet 本月開始針對部分 Workspace 商業使用者開啟內測。過去的 Meet 語音翻譯只能以英語為中樞、只支援 5 種語言;換上新模型後直接擴充到 70 多種語言,單場會議支援超過 2000 種語言對的自由互譯。

東南亞叫車平臺 Grab 已經在路測。他們平臺每月有超過 1000 萬次司機與乘客的通話,新模型能幫不同國籍的司機和遊客在接送時直接語音交流。韓國娛樂巨頭 CJ ENM 也參與了前期測試。

為什麼重要

對於經常跨國差旅、開跨國會議或者做涉外業務的人來說,這套工具非常值得第一時間嘗試。把手機像聽電話一樣貼在耳朵上同傳,或者在 Meet 裡跨過英語直接和其他小語種同事對話,把跨語言溝通的心理門檻降了一大截。

對行業來說,Google 這次很聰明地做了一次「模型瘦身」。現在大家都在拼全能多模態,但 Google 在同傳場景下果斷砍掉 Agent、搜尋和視覺推理,只要極低延遲的音訊流進流出。這種為特定場景定製極簡管道的做法,比盲目堆砌通用大模型實用得多。

不過隱患依然存在。幾秒鐘的延遲做日常問路、普通匯報夠用,但在激烈交鋒的商務談判裡,一旦語序差異極大的語言(比如德語動詞後置或日語結構)遇上過早斷句,翻譯模型是否會翻車或頻繁修正,還需要大範圍實測來檢驗。

來源 (2)

  1. [1]
    blog.google(在新分頁開啟)原文blog.google
  2. [2]
    ai.google.dev(在新分頁開啟)報導ai.google.dev

每日 AI 內容精選