開源 2B 文本轉語音模型:幾秒音訊克隆聲音,5GB 視訊記憶體可跑且可商用
一款 20 億引數的開源文本轉語音模型釋出,只需幾秒音訊即可實現零樣本聲音克隆,連耳語和結巴等細節也能還原。該模型支援跨語言合成,基礎大小僅約 5GB,能在消費級顯示卡上執行,並採用 Apache 2 許可證完全開放商用。
這週開源社群迎來了一個輕量級的文本轉語音模型。雖然引數量只有 20 億(2B),但它的零樣本聲音克隆能力非常紮實:只要給它一段幾秒鐘的參考音訊,它就能用該音色流暢讀出任意文本。
連耳語和結巴都能還原的小模型
更亮眼的是它對真實人聲細節的捕捉。傳統語音克隆往往顯得過於平整或呆板,而這個模型連耳語時的氣流感、說話緊張時的微小結巴都能一併還原出來。
它還支援跨語言生成。即便輸入的參考聲音完全不會講某種外語,模型也能借用其音色生成自然的多語種發音。在衡量錯誤率與音色相似度的基準測試中,它的綜合表現處於圖表左上角,超過了 CTDTS、Vox CPM、Qwen 3 TTS 以及 Index TTS 2 等一眾近期模型。
專案已經在 GitHub 上開源,採用極為寬鬆的 Apache 2 許可證,允許免費商業使用。基礎模型大小僅約 5GB,普通消費級顯示卡就能輕鬆裝下並本地執行。
為什麼重要
高質量的擬真聲音克隆,門檻終於被壓到了普通硬體上。過去這類連細微語調都能還原的克隆效果,大多依賴雲端商業 API,不僅按次收費,還有資料隱私顧慮。現在一張單卡就能在本地搞定,創作者拿來做多語種配音或播客本土化的成本瞬間被砸平。
我們認為,完全開放商用的 Apache 2 協議是它最大的殺傷力。這種小體積加高表現的組合,會直接逼著收費型配音工具降價或轉型。但不可忽視的是,只需幾秒音訊就能零樣本克隆出逼真音色,本地防偽和聲音反欺詐的壓力顯然更大了。
來源 (1)
- x.com(在新分頁開啟)原文x.com