Meta 開源 MMS 語音模型:覆蓋超 1100 種語言,可識別 4000 種口語
Meta 開源 Massively Multilingual Speech(MMS)系列模型與程式碼。它將語音識別和合成支援拓展到 1100 多種語言,並能識別 4000 多種口語。團隊通過多語種聖經朗讀音訊解決了小語種資料匱乏的問題,希望以此減緩全球瀕危語言的消亡。

Meta 開源的 Massively Multilingual Speech(MMS)是一個超大規模的多語言語音模型系列,直接把語音技術的語言版圖撐大了十倍。
現在的語音轉文字(STT)和文字轉語音(TTS)工具,頂多支援大約 100 種常見語言。MMS 直接把這個數字拉到了 1100 多種,而且還能識別超過 4000 種不同的口語。不管是做小語種音訊識別、開發罕見語言的語音助手,還是給瀕危語言做數字化歸檔,都可以直接用它。
它是怎麼做到的
訓練語音模型最缺的就是帶標註的音訊資料。現有的開源語音資料集覆蓋 100 種語言基本就是上限了,剩下數千種語言根本找不到現成的配對語料。
Meta 團隊找了一個非常聰明的切入點:宗教文本,尤其是《聖經》。這類文本很早就被翻譯成了全球各種各樣的小語種,並且有大量公開的人聲朗讀錄音。
他們利用《新約聖經》的朗讀音訊,整理出了覆蓋 1100 多種語言的資料集,平均每種語言大約有 32 小時的錄音資料。
為了進一步把語言識別能力擴充到 4000 種以上,團隊還納入了其他未經標註的各類基督教讀物音訊。
很多人可能會擔心兩點:第一,宗教讀物多由男性朗讀,會不會導致模型對女性聲音識別很差;第二,學了這麼多聖經錄音,會不會讓生成的內容帶有宗教偏見。
Meta 在分析後表示,模型在男性和女性聲音上的表現基本一致,而且文本生成的實際輸出也沒有表現出宗教語言傾向。
它能做什麼
MMS 不僅是一個單獨的識別模型,而是一整套多語言語音技術組合。
它涵蓋了文本到語音的生成、語音到文本的轉寫,以及高達 4000 多種口語的自動語言分類。
這套工具可以用在虛擬現實、增強現實裝置裡,也能整合到日常的即時通訊服務中,讓說小眾語言的使用者也能直接用母語跟裝置互動。
目前 Meta 已經把 MMS 的模型和相關程式碼完全開源,研究人員和開發者可以直接下載程式碼並基於權重進行二次開發。
團隊也提到,現階段 MMS 在面對細分方言時依然有挑戰,未來還會繼續擴大語言覆蓋面,並解決複雜方言的識別問題。
為什麼重要
如果你是做小語種本地化、跨境應用或者人類語言學數字化保護的開發者,MMS 幾乎是目前市面上覆蓋最廣、最值得上手的開源底座。以前面對偏門小語種,從小樣本資料冷啟動語音模型幾乎不可能,現在 MMS 至少給了一個能直接拿來微調的高起點。
從技術路徑來看,Meta 靠公開的多語種聖經音訊來補足資料短板,思路極其精巧,幾乎零成本解決了小語種最昂貴的「找資料」難題。
不過也要看到限制,每種語言平均 32 小時的資料量,相比主流大語種動輒上萬小時的訓練集,精細度和泛化能力肯定還有差距,尤其是口音濃重或背景嘈雜時難免會掉點。但無論如何,能先把這上千種語言帶入 AI 時代,本身就是巨大的突破。
來源 (1)
- about.fb.com(在新分頁開啟)原文about.fb.com