跳到正文
IFAI

開源專案

Kyutai 開源 Pocket TTS:1 億引數純 CPU 執行,首包延遲僅 200 毫秒

首次發布 傳播指數 48

Kyutai 開源輕量級語音合成工具 Pocket TTS,僅 1 億引數,專為 CPU 設計且無需 GPU。在 MacBook Air M4 上僅用 2 核即可實現 6 倍即時速度,首包延遲約 200 毫秒,支援聲音克隆與超長文本,程式碼與模型均已公開。

Kyutai 開源 Pocket TTS:1 億引數純 CPU 執行,首包延遲僅 200 毫秒
圖:github.com

Pocket TTS 是 Kyutai 開源的一個超輕量文本轉語音工具,專門為了在普通 CPU 上順暢跑起來而設計。它的核心模型只有 1 億(100M)引數,完全不需要顯示卡或雲端 API,在普通筆記本上就能實現即時的語音合成與聲音克隆。

它能做什麼

這個工具主打低延遲和高效率。生成第一包音訊的延遲大約只有 200 毫秒,幾乎感覺不到等待,很適合需要即時打斷的語音對話或流式朗讀場景。

在算力開銷上,它在 MacBook Air M4 的 CPU 上只佔用兩個核心,就能跑出約 6 倍即時速度。除了 100M 的預設模型,官方還放出了 18.2M、6.9M 甚至 1.9M 引數的超小英文模型,在單 CPU 執行緒上最高能達到 25 倍即時速度。

功能方面,它支援無限長文本的流式輸入,拿來直接讀一整本有聲書也不會崩潰。它還自帶聲音克隆功能,只要喂一段幾秒鐘的聲音樣音,就能模仿出對應的音色。

音質表現上,它的合成聲音整體比較自然,語調和節奏控制得不錯,甚至能讀出文本里的一點諷刺語氣。不過相比動輒數十億引數的龐大 TTS 系統,它在複雜情緒的精細控制上還是略顯平淡。此外,儘管專案頁面標明支援英、法、德等多語言,但目前英語的表現明顯最成熟穩定。

怎麼跑起來

Pocket TTS 的上手門檻極低,官方提供了多種開箱即用的執行方式。

如果你裝了 Python 和 uv,命令列裡敲一行 uvx pocket-tts generate 就能直接下載並生成預設音訊檔案。想搭一個本地介面,只要執行 uvx pocket-tts serve,就能在瀏覽器裡選聲音、輸文字。

對於聲音克隆,如果每次都傳 wav 檔案解析會稍慢,官方支援用 export-voice 命令把聲音特徵提取成 safetensors 權重檔案。後續直接讀取這個小檔案,無需重新計算特徵,載入速度極快。

更方便的是,Kyutai 還提供了一個用 Rust 編寫的獨立二進位制檔案。無論是在 macOS、Linux 還是 Windows 上,你甚至都不需要安裝 Python 或 PyTorch,解壓就能直接在 CPU 上跑。社群目前也衍生出了基於 WebAssembly 的網頁端版本,能在瀏覽器本地直接執行。

開源方面,Kyutai 不僅開源了推理程式碼和預訓練權重,連完整的訓練程式碼也一併公開了,開發者完全可以在其基礎上訓練或微調自己的模型。

為什麼重要

對於想做本地端側語音應用的開發者來說,Pocket TTS 是一個非常實用的新工具。以往在本地部署高質量語音合成,往往需要幾 GB 視訊記憶體的顯示卡,或者忍受漫長的生成等待;Pocket TTS 徹底把門檻拉到了普通輕薄本甚至移動端級別,做離線有聲書播放器或本地語音助手幾乎零硬體成本。

和同類動輒數億甚至數十億引數的模型相比,它在極小體積與可用音質之間找到了一個絕佳平衡點。我們認為,雖然它在多語言和極端細膩的情感表達上還有欠缺,但能把 100M 甚至更小的模型做到這種延遲與自然度,證明了端側小模型在特定任務上的巨大潛力。

來源 (1)

  1. [1]
    github.com(在新分頁開啟)原文github.com

每日 AI 內容精選