跳到正文
IFAI

開源專案

Gradium 推出端側 TTS 模型 phonon-31m-en:64.5 MB,瀏覽器本地就能跑

首次發布 傳播指數 48

Gradium 團隊開源了輕量級英文語音合成模型 phonon-31m-en。基於 Pocket TTS 與 Mimi 編解碼技術,8 位量化權重僅 64.5 MB,支援邊生成邊播放的流式輸出,普通筆記本 CPU、手機乃至瀏覽器標籤頁內無需聯網即可執行,且遵循 Apache 2.0 協議開源並支援商用。

Gradium 推出端側 TTS 模型 phonon-31m-en:64.5 MB,瀏覽器本地就能跑
圖:huggingface.co

phonon-31m-en 是一個專門跑在端側的超輕量英文語音合成模型,核心賣點就是小而且快。

它的 8 位量化檔案只有 64.5 MB,引數量僅 31M。你不需要任何獨立顯示卡,在普通筆記本 CPU、手機甚至是網頁瀏覽器的單個標籤頁裡,它都能直接本地跑起來,完全不需要連網。

它能做什麼

phonon-31m-en 能夠把輸入的英文文本即時轉成 24 kHz 的自然語音,並且支援流式輸出。也就是說,模型一邊在本地生成後面的音訊塊,揚聲器就已經在同步播放前面的聲音了,基本感受不到等待延遲。

這個模型適合整合在各類需要離線執行或注重隱私的場景裡。比如無網環境下的本地語音助手、網頁朗讀外掛、無障礙螢幕閱讀器、NPC 語音對白的獨立遊戲,或者跑在本地智慧家居平臺 Home Assistant 裡。

在音色方面,官方在開源倉庫裡配套提供了大約 100 種預設聲音,涵蓋不同的語調和發音習慣,開發者可以直接按需呼叫。

怎麼做到的與實際表現

能在幾十兆的體積裡塞進不錯的聲音質感,主要歸功於它的技術組合。Gradium 團隊基於 Pocket TTS 框架以及 Kyutai 開發的 Mimi 音訊編解碼器打造了它。

具體來說,它內部由一個 Flow-matching Transformer 構成,負責根據文本逐幀預測 80 毫秒的音訊潛空間表示,再交由 Mimi 解碼器即時還原成音訊波形。由於結構精簡,整個推理過程對算力消耗極低。

在人類雙盲聽測中,468 位評分者投出 8290 票後,phonon-31m-en 的 Elo 評分達到 2098 分,高於同類開源模型 Kokoro 的 2043 分。

在包含大量數字、日期、單位和程式碼的複雜長句測試(Hard set LLM WER)中,它的詞錯誤率只有 1.5%,同樣優於 Kokoro 的 3.5%、NeuTTS 的 8.7% 以及 Magpie 的 28%。而在通用的 Seed-TTS 評測集上,它的錯誤率也低至 0.51%。

不過它也有明確的短板。首先它目前只支援純英文,讀其他語言會出現嚴重發音錯誤。其次,處理超長文本時模型會自動按句子切片朗讀,句子之間的語調連貫性會稍微有點脫節。

在開源協議上,phonon-31m-en 的權重和分詞器採用 Apache 2.0 協議釋出,完全允許商用。配套執行庫 ptts 也在 GitHub 以 MIT 或 Apache 2.0 雙協議開源,提供了 Python、Rust、C++ 以及瀏覽器端 npm 包等多種整合方式。

為什麼重要

對開發者和獨立創作者來說,phonon-31m-en 最大的價值是徹底壓低了語音合成的部署門檻。過去要在本地做個能聽的語音互動,要麼得忍受數百兆甚至數吉位元組的模型,要麼得接雲端商業 API 算 token 賬單。現在直接用幾十兆的靜態資源就能塞進前端網頁或移動 App,離線即用,還不產生雲端伺服器成本。

我們認為 Gradium 這一步走得很討巧。他們沒有卷大引數大底模,而是把精力放在了極低資源消耗的端側落地,用現成的成熟編解碼方案把體驗做紮實。雖然在長文本情感表現上它還比不過雲端大模型,但對於注重響應速度、隱私和零成本呼叫的端側產品而言,它絕對是目前最值得優先嚐試的輕量工具之一。

來源 (1)

  1. [1]
    huggingface.co(在新分頁開啟)原文huggingface.co

每日 AI 內容精選