跳到正文
IFAI

开源项目

BreezeBlue 开源 Breeze-TTS-2:首包延迟 40 毫秒,支持中英文本驱动声线

首次发布 传播指数 48

BreezeBlue 开源语音合成模型 Breeze-TTS-2 的权重与推理代码。它支持中英双语,在 H100 上首包延迟能压到 40 毫秒以内,不仅能用文字描述直接「捏」出声音,还能在文本里插入 [笑] 或 [叹气] 等副语言事件。代码采用 Apache 2.0 开源,权重仅供非商业研究。

BreezeBlue 开源 Breeze-TTS-2:首包延迟 40 毫秒,支持中英文本驱动声线
图:huggingface.co

Breeze-TTS-2 是一个面向实时语音交互的开源文本转语音模型,主打超低延迟和自然语言声音控制。

在 Artificial Analysis 的 TTS 排行榜上,它在开源权重模型中位列第一,综合表现超过了部分主流商业专有模型。模型单体同时支持中文和英文,重点解决实时对话场景里响应慢和声线呆板的问题。

它能做什么

Breeze-TTS-2 最实用的能力是无参考音频的声音设计。你不需要准备样本切片,只用一段自然语言描述,比如「一位温柔自信的年轻女性,声音清晰,语气亲切」,模型就能凭空捏出对应声线。

如果你提供了参考音频,它还支持声音微调。在保留原音色特征的前提下,你可以追加指令控制语气和节奏,比如让它说话放慢、带一点严肃克制的情绪。

为了让说话更像真人,它支持在文本里直接插入副语言事件。中文句子夹带 [笑]、[咳嗽]、[清嗓子] 或 [叹气],英文句子用圆括号写上对应的动作,模型就会在合成时自然带出这些生理细节。

延迟表现是这次的硬指标。在预热充分的 NVIDIA H100 上,开启全加速模式后,首包音频生成时间能压到 40 毫秒以内。实时率达到 0.32,也就是合成速度约为真实发音速度的 3.1 倍,非常适合做实时流式对话。

硬件要求与怎么跑起来

在本地部署方面,Breeze-TTS-2 对显存控制相对克制。默认的 Eager 推理模式占用约 7.7 GiB 显存,一张 12 GB 显存的英伟达显卡就能跑起来。

如果你想追求极限低延迟,开启包含静态 CUDA Graph 的 fast 模式,显存占用会上升到 14.4 GiB 左右,官方建议准备 24 GB 显存的显卡。

跑起来并不繁琐。推理代码托管在 GitHub,模型权重发布在 Hugging Face,平台还同步提供了 Google Colab 和 Kaggle 的快速体验脚本。官方 Docker 镜像默认适配 H100 架构,也支持通过调整参数直接编译适配 A100。

代码内置了一个单并发的流式 HTTP 服务,默认在 7860 端口提供输出 24 kHz 单声道的 PCM 音频流。

需要看清的是开源协议。推理代码遵循 Apache 2.0 协议,基于阿里千问团队 Qwen3-TTS 的音频分词器也是 Apache 2.0。但是 Breeze-TTS-2 的模型权重和自建服务输出受独立协议限制,仅供研究和非商业用途。如果要在商业产品中使用,必须购买官方的云端 API。

为什么重要

对于做实时 AI 对话和虚拟陪伴的独立开发者来说,Breeze-TTS-2 提供了一个门槛极低的实验环境。以往想要又快又像真人的语音输出,往往只能接入高成本的闭源云端接口,现在 12 GB 显存就能在本地把全流程跑通。

我们认为,它的聪明之处在于把文本提示词控制和副语言标签直接做进了轻量流式管线里,让拟真感不再依赖后期的复杂拼接。不过非商业授权意味着商业项目暂时无法把它打包进私有化部署里,团队如果要商用,仍然绕不开官方付费服务。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选