OmniVoice 開源：支援 600 多種語言，幾秒音訊即可跨語種克隆

以前想讓一段配音跨越不同語種，你不僅要找到合適的多語種聲優，還要花費大量時間調整語氣和情感。哪怕用現有的語音克隆工具，遇到冷門語種往往也只能抓瞎。

研究人員正式開源了零樣本語音合成模型 OmniVoice。它最驚人的地方在於，一口氣將支援的語種規模擴充套件到了 600 多種，而且模型權重和程式碼已經全部公開。

幾秒克隆音色，還能用文字憑空造人聲

根據公開的演示，OmniVoice 只需要幾秒鐘的參考音訊和文字轉寫，就能完成高質量的聲音克隆。

它克隆的不只是音色，還有說話人的語氣甚至嘆息。在一段英文演示裡，一段略帶威脅口吻的臺詞被克隆後，新生成的句子依然保留了那種壓迫感。

更亮眼的是跨語種聲音遷移。你可以輸入一段僅僅 4 秒鐘的英文日常對話，模型就能讓同一個聲音操著原有的音調去說地道的日語、韓語、俄語或法語。

如果你手裡連參考音訊都沒有，OmniVoice 也支援直接通過文本提示詞捏造聲音。你可以直接要求它生成帶印度口音的高音男聲，或者年長的英國女性口音。

在生成過程中，使用者還能打上笑聲、不滿或驚訝等情緒標籤，模型會按照標籤的要求調整情緒表達。

甩掉傳統兩階段的包袱

支援 600 多種語言不是一件容易的事。以往的離散非自迴歸語音模型大多依賴複雜的兩階段流水線，先將文本轉為語義表示，再轉為聲學特徵，在語種變多時極易出現效能瓶頸。

OmniVoice 採用了一種擴散語言模型風格的離散非自迴歸架構，跳過了中間繁瑣的步驟，直接把文本對映為多碼本聲學 token。

為了保證發音清晰可懂，團隊直接使用了預訓練大語言模型進行初始化，讓模型自帶深厚的語言理解底子。

在訓練技巧上，他們採用了全碼本隨機掩碼策略來提升訓練效率，並基於完全開源的資料清洗出了一個高達 58.1 萬小時的多語言資料集。

在中文、英文以及 FLEURS-102 等多語言基準測試中，該模型都拿到了領先的成績。

為什麼重要

對於出海內容創作者和獨立遊戲開發者來說，OmniVoice 的開源意味著多語種本地化的門檻被徹底打碎。你不需要為幾十個國家的發行版本分別尋找配音團隊，用一段主聲音就能批次生成全語種物料。

對整個語音行業而言，多語種覆蓋以往是大型商業公司的獨門壁壘。OmniVoice 證明了完全依託開源公開資料，也能訓練出覆蓋 600 多種語言的前沿語音底座，這將迫使商業語音服務加快降價和開放的步伐。

我們認為這項研究走得最聰明的地方，在於直接借用預訓練大模型來托底語音的清晰度，繞開了傳統流水線的累贅結構。不過，在 600 多種語言裡，那些資料極度稀缺的超小語種在真實場景中的長文本表現到底如何，依然需要開源社群的大規模檢驗。