dots.tts：小紅書開源 2B 語音模型，支援零樣本聲音克隆

dots.tts 是小紅書開源的 2B 引數端到端語音合成系統，主打高表現力的零樣本聲音克隆與語音精細編輯。

如果你手頭有一段參考音訊，它能以極高的相似度復刻說話人的音色，把文字快速讀出來，甚至還能按指令修改音訊裡的情緒和韻律。

拋棄離散 token 的全連續架構

大多數現代語音大模型習慣把音訊切成離散的語音 token，再像處理文本一樣預測下一個 token。dots.tts 換了一條路，在整個處理流程中完全不使用離散 token。

它的骨幹網路由一個語義編碼器、一個大語言模型以及一個基於 48 kHz AudioVAE 的自迴歸 flow-matching 聲學頭組成，屬於全連續自迴歸系統。

不經過離散化壓縮的好處很直接，那就是保留了更完整的聲音細節與聲學連續性，減少了傳統架構裡常見的電音感和斷音問題。

評測表現與推理速度

在公認的 Seed-TTS-Eval 基準上，dots.tts 拿下了同類平均最佳水平。中文、英文和高難度中文測試集的詞錯誤率分別為 0.94%、1.30% 和 6.60%，說話人相似度得分分別達到 81.0、77.1 和 79.5。

在 MiniMax 的 24 語言多語言基準測試中，它的平均說話人相似度達到 83.9。官方後續還推出了針對語音編輯的 dots.tts.edit，支援對文本、情緒、韻律和停頓進行精細控制。

在推理效率上，最佳化後的 dots.tts-mf 模型即時率中位數在 0.13 到 0.15 之間，純文本合成的首包延遲低至 68 毫秒，聲音克隆首包延遲約 204 毫秒。

該專案還適配了 SGLang Omni。根據官方提供的基準，單張 H100 顯示卡在併發 16 的情況下，推理吞吐可達每秒 19.86 秒音訊。

怎麼跑起來

專案完全採用 Apache-2.0 協議開源，程式碼和模型權重都已經放出，支援 Python 3.10 到 3.12 環境。

你可以直接通過 PyPI 執行 pip install dots.tts 安裝，或者從 GitHub 克隆原始碼編譯。官方提供了基礎預訓練權重、SOAR 權重以及 MeanFlow 蒸餾權重。

在用法上，工具提供了命令列入口。你可以輸入一段參考音訊與對應的轉錄文本進行續寫式克隆，這是相似度最高的使用模式；也可以僅提供音訊提取特徵做克隆，或者使用微調模型進行隨機聲音取樣。

如果需要在大併發下提供高吞吐的流式服務，建議搭配 SGLang Omni 部署。

為什麼重要

如果你正在開發播客配音、有聲書生成、虛擬人對話，或者需要精準修改錄音中的幾個字，dots.tts 是目前開源領域極具競爭力的新選擇。它的 2B 體量和完全開放的 Apache-2.0 協議，讓企業或個人都能低門檻地私有化微調與商用。

和許多閉源服務相比，它最難得的是在保證極低錯誤率的同時，端到端地放開了高質量語音編輯和低延遲流式吞吐能力。不過連續流式匹配對硬體計算密度有一定要求，部署時建議優先考慮支援 CUDA 最佳化的現代顯示卡。