Audio8-TTS-Realistic 開源：6 億引數，幾秒音訊即可克隆 23 種語言

Audio8-TTS-Realistic 是一款輕量級開源文本轉語音模型，只要餵給它幾秒鐘乾淨的參考音訊和文字，它就能克隆出對應音色，並說出 23 種語言的任意文本。

模型由 Edge0 推出，主模型引數只有 6 億（601M），權重檔案體積僅 2.6GB。整套程式碼和權重基於非常寬鬆的 Apache 2.0 許可證開源，允許免費商用。

它是怎麼做到又快又真的

Audio8-TTS-Realistic 採用了雙自迴歸（DualAR）架構。它的慢分支基於 Qwen2.5 0.5B 構建，負責逐幀預測文本和第一個音訊碼本；隨後由一個僅有 4 層的淺層快分支並行預測剩下的 9 個碼本。

這種結構把大部分序列計算壓縮在幀級別，生成速度極快，自帶 44.1kHz 的神經音訊編解碼器，不需要參考音訊時也能直接生成語音。

為了讓聲音不發機械音，團隊在多語言精調之後，用了強化學習演算法 GRPO。最關鍵的是最後階段引入了一個真實度判別模型，拿人類真實錄音作為標杆，逼著模型去學習真實的呼吸節奏、停頓與語速，而不是單純刷字錯率。

表現如何與硬體要求

在 CV3 的 9 語言基準測試中，它的平均錯誤率為 4.86%，擊敗了 17 億引數的 Qwen3-TTS（7.73%）和 VoxCPM2（5.35%）。

不過面對 40 億級別的 Higgs TTS 3，它在指標上仍有差距。此外它在低資源語言上偏科嚴重，泰語的字錯率高達 48.57%，粵語字錯率也有 31.35%。

硬體門檻非常親民。在消費級顯示卡上使用 BF16 精度就能輕鬆跑起來。論文資料顯示，在蘋果 M2 晶片上跑 INT4 量化版時，峰值記憶體佔用只有 1.1 到 1.2 GiB，不過目前官方還沒放出 Realistic 版本的 ONNX 匯出。

想要嘗試的話，Hugging Face 提供了免費的 ZeroGPU 線上體驗 Demo。本地部署需要 PyTorch 2.5 和 Transformers 4.57 以上環境，官方倉庫還提供了 SGLang Omni 介面卡，支援 OpenAI 相容介面和批次併發推理。

為什麼重要

如果你是獨立開發者或中小團隊，想要給應用接入多語言配音或即時語音互動，Audio8-TTS-Realistic 是目前極其划算的開源選擇。以往要達到這種自然度的音色克隆，通常需要 2B 到 4B 引數的模型，部署成本高出一大截，而它直接把門檻壓到了 6 億引數。

我們認為，它的聰明之處在於放棄了單純堆引數，轉而用判別模型去死磕停頓和節奏。雖然在部分小語種上發音還不算穩定，但對於主流的中英文場景，它在低延遲、低視訊記憶體和商業授權之間找到了一個極佳的平衡點。