Zyphra 開源語音模型 ZONOS2:8B 引數 MoE,支援 44.1 kHz 聲音克隆
Zyphra 開源語音合成模型 ZONOS2,採用總引數 80 億、啟用 9 億的 MoE 架構,基於超 600 萬小時音訊訓練。它能以低延遲實現 44.1 kHz 高保真聲音克隆,首批支援中英日等多種語言,遵循 Apache 2.0 協議並提供本地推理服務。

Zyphra 開源的 ZONOS2 是一個主打高保真聲音克隆的語音合成模型。它採用混合專家(MoE)架構,總引數量達 80 億,但實際推理時僅啟用 9 億引數。
模型基於超過 600 萬小時的多語言語音資料訓練,能夠生成取樣率 44.1 kHz 的高質量音訊,官方稱其表達力和自然度可以媲美甚至超越主流商用語音服務。
它能做什麼
ZONOS2 最核心的賣點是低延遲與高質量的聲音克隆。
在語言支援上,它劃分了三個梯隊。第一梯隊直接包含英語、普通話和日語;第二梯隊支援韓語、德語、法語、西班牙語、俄語等十種語言;第三梯隊則覆蓋了波蘭語、印尼語、泰語等數十種語言。
在技術鏈條上,模型在推理階段使用 nemo TN 對 UTF-8 位元組進行文本歸一化,通過 ECAPA-TDNN 提取聲音嵌入特徵,再由 MoE 主幹網路生成 DAC token,兼顧了生成質量與推理速度。
怎麼跑起來
想要在本地執行 ZONOS2,目前需要一定的硬體門檻。
環境方面僅支援 Linux(x86_64)系統,並且需要配備安裝了對應驅動的 NVIDIA 顯示卡。部署過程依賴 uv 工具,程式碼已在 GitHub 開源,模型權重也已上傳至 Hugging Face。
官方基於 Mini-SGLang 打造了一個高效能推理服務。啟動後,本地 1919 埠會提供一個 Web 介面,只要指定存放參考音訊的目錄,服務就會自動掃描音訊檔案並提取說話人特徵,支援快速試聽克隆效果。
除了 Web 介面和 HTTP 介面,開發者也可以直接通過 Python 離線指令碼呼叫 TTSLLM 類進行批次生成。不想折騰本地環境的使用者,可以在 Zyphra Cloud 的音訊試玩頁面免費體驗。
專案整體採用寬鬆的 Apache 2.0 協議開源,允許自由商用和二次開發。
為什麼重要
對於需要私有化部署語音服務的團隊來說,ZONOS2 補齊了開源社群在大規模 MoE 語音模型上的空白。80 億總引數保證了音色的豐富度和多語言泛化能力,而 9 億活躍引數則把單次推理開銷壓到了很低的水平,非常適合即時對話助手或低延遲播報場景。
我們認為,它的開箱即用體驗做得相當紮實,直接配套了基於 SGLang 最佳化的服務端和自動音色掃描。唯一的硬傷是目前嚴格限制在 Linux 和 NVIDIA 顯示卡環境,普通個人開發者如果手頭沒有合適的雲端算力,門檻依然不低。
來源 (2)
- @ZyphraAI(在新分頁開啟)原文x.com
- huggingface.co(在新分頁開啟)報導huggingface.co