跳到正文
IFAI

AI科研

亞馬遜推出 BASE TTS:引數達 9.8 億,語音模型也開始「湧現」

首次發布 傳播指數 33

Amazon 公佈了目前最大的語音合成模型 BASE TTS,引數達 9.8 億。研究顯示,語音模型規模擴大後同樣會出現類似大語言模型的「湧現能力」,無需額外訓練就能更自然地拿捏情緒、耳語和生僻詞發音。不過出於安全考慮,官方並未開源模型權重。

亞馬遜推出 BASE TTS:引數達 9.8 億,語音模型也開始「湧現」
圖:techcrunch.com

聽語音助手讀長難句,最怕它突然在哪兒抽風——不是莫名其妙把重音讀錯,就是把一句悄悄話讀得像新聞聯播。

亞馬遜 AGI 團隊最近交出了一篇論文,他們造出了迄今為止體量最大的文本轉語音模型 BASE TTS。更有意思的是,他們在大語言模型上見慣了的「湧現」,這次在語音模型上也看到了。

語音模型也撞上了「規模法則」

大模型圈子裡有個心照不宣的現象:引數和資料堆到某個臨界點之後,AI 會突然學會一些沒人教過它的本事。亞馬遜這幫人就想試試,這套規律放在讓 AI 開口說話這件事上靈不靈。

他們一口氣訓了三個檔位的模型做對照,最小的 1.5 億引數配 1000 小時音訊,中間的 4 億引數配 1 萬小時,最大的 BASE-large 達到了 9.8 億引數,餵了 10 萬小時公有領域的有聲書和播客。

資料裡九成是英語,剩下是一點德語、荷蘭語和西班牙語。9.8 億引數放在大語言模型裡不起眼,但在語音合成領域已經是塊頭最大的了。

結果很有意思,跳躍式的能力躍升在 4 億引數的中等模型上就冒頭了。普通的說話質量評分其實只漲了一兩分,但它開始能聽懂人話裡的潛臺詞了。

研究團隊拿各種極難讀的句子去考它,比如一口氣串了五六個修飾詞的複合名詞、夾著法文的外來詞、帶「@」符號的網路簡訊,甚至是包含悄悄話和尖叫的情感表達。

以往像 Tortoise 或微軟 VALL-E 遇到這些句子經常結巴或漏詞,但 BASE TTS 幾乎沒被專門訓練過這些,卻自然地把情緒、嘆詞和疑問句調子讀對了。

不僅如此,它還是一套流式模型。它不需要等一整句話文本都算完才發聲,可以極低位元率邊生成邊播,還能把韻律和情緒資料單獨打包成低頻寬資料流傳輸。

藏起了模型,交出了試卷

既然效果這麼好,為什麼沒見開源社群炸鍋?因為亞馬遜把權重和資料扣下了。

團隊給出的理由很現實,這種自然度的模型一旦放出去,很容易被拿去做聲音克隆詐騙或者偽造音訊。

不過亞馬遜倒沒有完全藏著掖著,他們把用來衡量這種湧現能力的測試集公開了。

亞馬遜 AI 代表 Leo Zao 解釋說,他們並不認為湧現是自家的獨門絕技。把測試集放出來,就是想看看其他同行的模型套上這套考題,能不能也測出類似的臨界點。

在 Leo Zao 看來,語音合成領域的「規模法則」現在才剛拉開序幕,誰也別太早下定論。

為什麼重要

對普通人和創作者來說,這篇論文意味著 AI 聲音終於有望徹底甩掉機器味。尤其是在有聲書朗讀、無障礙輔助或者虛擬角色對話裡,AI 終於懂得在提到嬰兒時放輕聲音,在讀到驚歎時拔高語調,而不是一味平鋪直敘。不過因為亞馬遜沒開源也沒上線產品,大家現在只能去試聽網站聽選出來的 Demo,還沒法直接用在自己的專案裡。

對行業來說,它把大模型的堆引數邏輯正式引入了語音賽道。以前做 TTS 的團隊大多在小模型、精細微調和後處理演算法上死磕,亞馬遜證明了只要把資料加到 10 萬小時、引數拉高到數億級別,模型自己就能學會複雜的語法停頓和語調處理,這會逼著其他語音廠商重新審視自己的架構。

我們認為,亞馬遜這一步走得相當狡猾。他們扣下模型既規避了合規和倫理風險,又用一套公開的測試集給自己立了個基準制定者的牌坊。但隱患也在於此,語音模型的算力和資料門檻遠低於文本千億大模型,既然路線已經被證實可行,開源社群遲早會用類似規模的資料跑出復現版,這道安全防線恐怕擋不了太久。

來源 (1)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com

每日 AI 內容精選