跳到正文
IFAI

AI工具

時空壺釋出 Babel OS:把聲音克隆與預測翻譯塞進同傳耳機

首次發布 傳播指數 59

Timekettle 釋出首個同傳作業系統 Babel OS,支援超 40 種語言。系統引入語義分詞預測與聲音克隆,能復刻說話者語氣並支援行業自定義詞庫,大幅降低延遲。目前已向 W4 Pro 等裝置推送 OTA,團隊未來還將推出離線端側版本。

時空壺釋出 Babel OS:把聲音克隆與預測翻譯塞進同傳耳機
圖:aws.amazon.com

用過即時翻譯耳機的人,大概都經歷過那種尷尬:對方講完一整句,你耳朵裡還要乾等兩三秒,等出來的還是一段冷冰冰、毫無起伏的合成機械音。

做翻譯硬體的 Timekettle(時空壺)想把這個彆扭的體驗改掉。在 CES 期間,他們釋出了一套專門給同傳硬體做的作業系統 Babel OS。這套系統即日起通過免費 OTA 推送,覆蓋了他們自家的多款主力裝置,包括 W4 Pro 耳機、WT2 Edge 和 W3 耳機、X1 翻譯中繼器,以及 T1 和 T1 Mini 手持翻譯機。

按照官方的說法,Babel OS 支援超過 40 種語言互譯,核心改動主要集中在提速、定製詞庫和聲音克隆三個方面。

先猜你要說什麼,再用你的聲音講出來

同傳最怕的就是延遲。傳統翻譯軟體通常要等說話人停頓或者把一句話講完,才開始切片分詞和送檢模型,幾秒鐘的斷檔在面對面聊天時非常折磨人。

Babel OS 依賴底層的 HybridComm 技術做了語義分詞最佳化。它不是傻傻地等聲音停下來,而是利用大語言模型和演算法去預判句子的走向,一邊聽一邊切片並預測後半句,把端到端的延遲壓到接近零感知,讓跨語言對話儘量跟上正常語速。

更有意思的是聲音克隆。翻譯出來的聲音不再是千篇一律的機器人朗讀,而是能模仿說話者本人的音色、語調和口癖。這樣不管是在跨國商務談判還是日常閒聊裡,對方聽到的聲音都帶著你的情緒起伏,不會讓溝通顯得生硬。

另外,針對人名、地名、行業黑話和流行俚語容易翻車的問題,Babel OS 允許使用者自己建專有詞庫。The Verge 的編輯就特別提到了這一點,以往翻譯硬體最大的痛點就是跟不上人類語言的演變速度,能自己把網路新詞和特定俚語綁進詞庫,起碼能少出很多牛頭不對馬嘴的洋相。

除了聯網功能,Timekettle 還提到他們正在研發端側的 AI Edge 離線方案。未來即使在飛機艙內、地下車庫或者深山等完全沒網的場景下,裝置也能直接在本地跑模型翻譯。

為什麼重要

我們認為,Timekettle 推出 Babel OS 最聰明的地方,在於它意識到翻譯耳機的壁壘從來不是塑膠殼和麥克風,而是底層軟體調優。

在很多手機大廠把大模型塞進系統級功能、甚至耳機也能直接呼叫手機算力的今天,專門的翻譯硬體如果只靠賣硬體盒子,生存空間只會越來越窄。Timekettle 這次把老款裝置全部拉通免費 OTA,是在用軟體服務把存量使用者黏在自己的生態裡,對老使用者來說這波升級非常實在。

但考驗也同樣明顯。靠模型預測後半句雖然能把延遲壓下來,可一旦碰到思路跳躍或者口音極重的人,預測翻車的機率也會直線上升。聲音克隆和俚語詞庫在宣傳影片裡很驚豔,但實際使用中使用者願意花多少時間去訓練聲音、維護專屬詞庫,依然是個疑問。

看起來,跨語言溝通正在從單純的比拼誰翻譯得準,轉向比拼誰的對話體驗更像真人。如果你經常有跨國差旅、專業會議交流的需求,現在手頭又有相容裝置,這次系統更新非常值得第一時間升級體驗。

來源 (3)

  1. [1]
    venturebeat.com(在新分頁開啟)原文venturebeat.com
  2. [2]
  3. [3]

每日 AI 內容精選