開源語音克隆 LuxTTS：3 秒音訊復刻聲音，視訊記憶體不到 1GB 還跑 48kHz

過去在本地跑語音克隆，你基本只能在音質和速度之間二選一：要麼用引數量巨大的模型，顯示卡風扇狂轉還卡頓；要麼選輕量模型，但出來的聲音發悶，像二十年前的收音機廣播。

開發者 Yatharth Sharma 開源的 LuxTTS 試圖打破這個僵局。它不需要你備著高階顯示卡，哪怕是舊筆記本、Steam Deck 甚至純 CPU，都能以驚人的速度跑出廣播級音質。

4 步推理，把視訊記憶體壓到 1GB 以內

傳統的文字轉語音模型，推理過程往往需要 16 步甚至 50 步以上，像 XTTS-v2 這種經典大模型，視訊記憶體動輒要吃掉 6GB 到 12GB。

LuxTTS 基於 ZipVoice 架構構建，但核心創新在於將整個推理過程蒸餾到了僅需 4 步。計算量被砍掉了大半，模型整體視訊記憶體佔用直接壓到了 1GB 以下。

算力開銷降下來了，效果卻沒縮水。面對大它 10 倍的模型，LuxTTS 的音色還原度依然毫不遜色，而且它只需要一段 3 秒鐘的參考音訊，就能快速捕捉說話人的音色特徵。

150 倍即時速度，還能原生跑 48kHz

更誇張的是它的生成速度。在主流 GPU 上，LuxTTS 能夠跑出 150 倍即時的生成速度；即使你手裡沒有獨立顯示卡，單靠普通 CPU 執行，它的生成速度依然比即時說話更快。

大部分快速 TTS 模型為了省算力，通常把音訊取樣率鎖死在 22kHz 或 24kHz，聲音聽起來單薄且有數碼味。LuxTTS 則內建了專門定製的 48kHz 聲碼器，出來的音訊飽滿細膩，完全達到了播客或影片配音的棚錄標準。

開發者用起來也很省心，通過 pip 就能快速安裝，程式碼倉庫裡還提供了控制語速、音量和平滑度的取樣引數。不想寫程式碼的人，也可以直接去 Hugging Face 體驗網頁 demo，或者用 OptiClone 桌面端和 Google Colab 執行。

為什麼重要

我們認為，LuxTTS 最聰明的地方在於它沒有盲目卷大引數，而是把精力放在了工程蒸餾和音訊取樣率這兩個痛點上。用 4 步推理換取極限速度，用 48kHz 保證聽感，這給端側語音應用掃清了最大障礙。

對個人創作者和獨立開發者來說，這意味著語音生成的門檻徹底消失了。以前做長影片解說或者有聲書，批次渲染配音既費時間又費雲端 API 額度，現在幾十秒就能在本地跑完幾小時的音訊，幾乎零成本。

對整個行業而言，這會直接倒逼即時互動 Agent 的架構重組。在做即時語音對話時，TTS 往往是延遲最高的環節之一，LuxTTS 憑藉 150 倍的生成速度和極低算力開銷，讓幾百毫秒級別的端到端超低延遲對話在廉價硬體上成為可能。

不過也要看到，僅靠 3 秒音訊做極低步數的推理，雖然能精準抓住音色基底，但在極端語境下的語氣起伏和豐富情感表達上，可能還需要後續更細緻的微調調優。但無論如何，它已經證明了小模型在語音生成賽道上完全有能力幹翻笨重的大傢伙。