Audio8TS：1.7GB 的超輕量 TTS 模型，幾秒樣本本地克隆聲音

Audio8TS 是一個體積僅 1.7GB 的超輕量文本轉語音模型，主打在普通個人電腦上用幾秒鐘的聲音樣本，實現本地零樣本聲音克隆。

現在的語音克隆模型動輒數個十億引數，不僅模型檔案大，還得配高視訊記憶體顯示卡。而 Audio8TS 的核心生成網路只有約 1.7 億引數，加上配套的音訊編解碼器解碼器，整體引數規模也才 0.1B 級別，全部檔案下載下來只要 1.7GB。

它能做什麼

它的核心用法非常純粹，就是零樣本聲音克隆。你只需要準備一段幾秒鐘的清晰參考音訊，再加上對應的文字記錄，模型就能提取目標音色，並用這個聲音讀出任何新的文本。

在語言支援方面，它把中文和英文作為主要語言，能夠生成發音自然且音色高度貼合的語音。同時它還提供了針對德語、西班牙語、法語、義大利語、日語和韓語的多語言實驗支援。

雖然體積極小，但官方公佈的基準測試顯示，它在字錯誤率和說話人相似度上表現相當穩定。相比動輒數十億引數的同類方案，它在極其剋制的體積下交出了夠用的聽感。

怎麼跑起來

Audio8TS 採用了雙分支自迴歸架構，分為慢速分支和快速分支。慢速分支負責預測語義 token，快速分支則結合慢速狀態預測音訊編解碼器的 codebook，最後由神經編解碼器直接解碼成波形。

部署門檻可以說是這個專案最大的亮點。除了常規的 PyTorch 和 CUDA GPU 部署之外，專案方還專門打包了 CPU 友好的 ONNX INT8 版本。

在 ONNX 方案下，模型的自迴歸部分被量化為 INT8 格式，音訊編解碼器採用半精度執行。語音註冊和生成過程被嚴格分段，中間會主動釋放不必要的記憶體會話，確保普通筆記本的記憶體不會被瞬間撐爆。

目前 Audio8TS 的完整權重、音訊編解碼器、分詞器和推理程式碼都已經在 Hugging Face 上完全公開，專案 ID 為 Audio8/Audio8-TTS-Preview-0.1b。執行環境需要 Python 3.11 以上以及較新的 Transformers 和 PyTorch 庫。

為什麼重要

如果你正在開發需要離線語音合成的桌面客戶端，或者單純想在自己的輕薄本上跑聲音克隆，Audio8TS 很值得現在拉下來試一試。它幾乎不需要專用硬體成本，徹底抹平了本地執行語音克隆的門檻。

我們認為，Audio8TS 聰明的點在於它放棄了在所有多語言和極致音質上卷大模型，而是把「端側能跑」做到了極致。它證明了在 1 億引數規模下，合理的架構設計依然能守住聲音克隆的可用底線，這也為未來智慧硬體和輕量化端側助理提供了一個非常務實的參考路線。