dots.tts：小红书开源 2B 语音模型，支持零样本声音克隆

dots.tts 是小红书开源的 2B 参数端到端语音合成系统，主打高表现力的零样本声音克隆与语音精细编辑。

如果你手头有一段参考音频，它能以极高的相似度复刻说话人的音色，把文字快速读出来，甚至还能按指令修改音频里的情绪和韵律。

抛弃离散 token 的全连续架构

大多数现代语音大模型习惯把音频切成离散的语音 token，再像处理文本一样预测下一个 token。dots.tts 换了一条路，在整个处理流程中完全不使用离散 token。

它的骨干网络由一个语义编码器、一个大语言模型以及一个基于 48 kHz AudioVAE 的自回归 flow-matching 声学头组成，属于全连续自回归系统。

不经过离散化压缩的好处很直接，那就是保留了更完整的声音细节与声学连续性，减少了传统架构里常见的电音感和断音问题。

评测表现与推理速度

在公认的 Seed-TTS-Eval 基准上，dots.tts 拿下了同类平均最佳水平。中文、英文和高难度中文测试集的词错误率分别为 0.94%、1.30% 和 6.60%，说话人相似度得分分别达到 81.0、77.1 和 79.5。

在 MiniMax 的 24 语言多语言基准测试中，它的平均说话人相似度达到 83.9。官方后续还推出了针对语音编辑的 dots.tts.edit，支持对文本、情绪、韵律和停顿进行精细控制。

在推理效率上，优化后的 dots.tts-mf 模型实时率中位数在 0.13 到 0.15 之间，纯文本合成的首包延迟低至 68 毫秒，声音克隆首包延迟约 204 毫秒。

该项目还适配了 SGLang Omni。根据官方提供的基准，单张 H100 显卡在并发 16 的情况下，推理吞吐可达每秒 19.86 秒音频。

怎么跑起来

项目完全采用 Apache-2.0 协议开源，代码和模型权重都已经放出，支持 Python 3.10 到 3.12 环境。

你可以直接通过 PyPI 执行 pip install dots.tts 安装，或者从 GitHub 克隆源码编译。官方提供了基础预训练权重、SOAR 权重以及 MeanFlow 蒸馏权重。

在用法上，工具提供了命令行入口。你可以输入一段参考音频与对应的转录文本进行续写式克隆，这是相似度最高的使用模式；也可以仅提供音频提取特征做克隆，或者使用微调模型进行随机声音采样。

如果需要在大并发下提供高吞吐的流式服务，建议搭配 SGLang Omni 部署。

为什么重要

如果你正在开发播客配音、有声书生成、虚拟人对话，或者需要精准修改录音中的几个字，dots.tts 是目前开源领域极具竞争力的新选择。它的 2B 体量和完全开放的 Apache-2.0 协议，让企业或个人都能低门槛地私有化微调与商用。

和许多闭源服务相比，它最难得的是在保证极低错误率的同时，端到端地放开了高质量语音编辑和低延迟流式吞吐能力。不过连续流式匹配对硬件计算密度有一定要求，部署时建议优先考虑支持 CUDA 优化的现代显卡。