Gradium 推出端側 TTS 模型 phonon-31m-en:64.5 MB,瀏覽器本地就能跑
Gradium 團隊開源了輕量級英文語音合成模型 phonon-31m-en。基於 Pocket TTS 與 Mimi 編解碼技術,8 位量化權重僅 64.5 MB,支援邊生成邊播放的流式輸出,普通筆記本 CPU、手機乃至瀏覽器標籤頁內無需聯網即可執行,且遵循 Apache 2.0 協議開源並支援商用。
Gradium 團隊開源了輕量級英文語音合成模型 phonon-31m-en。基於 Pocket TTS 與 Mimi 編解碼技術,8 位量化權重僅 64.5 MB,支援邊生成邊播放的流式輸出,普通筆記本 CPU、手機乃至瀏覽器標籤頁內無需聯網即可執行,且遵循 Apache 2.0 協議開源並支援商用。
Mirelo 與 Kyutai 聯合開源多樂器音樂轉錄模型 MuScriptor。以前的工具大多隻能轉單軌獨奏,它能直接吃下整首混音音訊,把人聲、鼓、貝斯和鍵盤等分軌轉成獨立 MIDI。微調與強化學習讓準確率大幅提升,普通人做扒帶或二次編曲省事多了。
Kyutai 開源輕量級語音合成工具 Pocket TTS,僅 1 億引數,專為 CPU 設計且無需 GPU。在 MacBook Air M4 上僅用 2 核即可實現 6 倍即時速度,首包延遲約 200 毫秒,支援聲音克隆與超長文本,程式碼與模型均已公開。
Kyutai 釋出即時語音同傳模型 Hibiki,目前支援法譯英。它在即時輸出語音與文本翻譯的同時保留原說話者聲線,並依據語義自適應調節語速。官方評估顯示其自然度與音色相似度已逼近專業人類同傳。
法國非營利 AI 實驗室 Kyutai 展出即時語音助手 Moshi 並宣佈開源。它僅由 8 人團隊耗時半年研發,端到端延遲低至 200 毫秒,支援 70 種情緒,還能在筆記本本地邊聽邊說。