跳到正文
IFAI

開源專案

BreezeBlue 開源 Breeze-TTS-2:首包延遲 40 毫秒,支援中英文本驅動聲線

首次發布 傳播指數 48

BreezeBlue 開源語音合成模型 Breeze-TTS-2 的權重與推理程式碼。它支援中英雙語,在 H100 上首包延遲能壓到 40 毫秒以內,不僅能用文字描述直接「捏」出聲音,還能在文本里插入 [笑] 或 [嘆氣] 等副語言事件。程式碼採用 Apache 2.0 開源,權重僅供非商業研究。

BreezeBlue 開源 Breeze-TTS-2:首包延遲 40 毫秒,支援中英文本驅動聲線
圖:huggingface.co

Breeze-TTS-2 是一個面向即時語音互動的開源文本轉語音模型,主打超低延遲和自然語言聲音控制。

在 Artificial Analysis 的 TTS 排行榜上,它在開源權重模型中位列第一,綜合表現超過了部分主流商業專有模型。模型單體同時支援中文和英文,重點解決即時對話場景裡響應慢和聲線呆板的問題。

它能做什麼

Breeze-TTS-2 最實用的能力是無參考音訊的聲音設計。你不需要準備樣本切片,只用一段自然語言描述,比如「一位溫柔自信的年輕女性,聲音清晰,語氣親切」,模型就能憑空捏出對應聲線。

如果你提供了參考音訊,它還支援聲音微調。在保留原音色特徵的前提下,你可以追加指令控制語氣和節奏,比如讓它說話放慢、帶一點嚴肅剋制的情緒。

為了讓說話更像真人,它支援在文本里直接插入副語言事件。中文句子夾帶 [笑]、[咳嗽]、[清嗓子] 或 [嘆氣],英文句子用圓括號寫上對應的動作,模型就會在合成時自然帶出這些生理細節。

延遲表現是這次的硬指標。在預熱充分的 NVIDIA H100 上,開啟全加速模式後,首包音訊生成時間能壓到 40 毫秒以內。即時率達到 0.32,也就是合成速度約為真實發音速度的 3.1 倍,非常適合做即時流式對話。

硬體要求與怎麼跑起來

在本地部署方面,Breeze-TTS-2 對視訊記憶體控制相對剋制。預設的 Eager 推理模式佔用約 7.7 GiB 視訊記憶體,一張 12 GB 視訊記憶體的輝達顯示卡就能跑起來。

如果你想追求極限低延遲,開啟包含靜態 CUDA Graph 的 fast 模式,視訊記憶體佔用會上升到 14.4 GiB 左右,官方建議準備 24 GB 視訊記憶體的顯示卡。

跑起來並不繁瑣。推理程式碼託管在 GitHub,模型權重發布在 Hugging Face,平臺還同步提供了 Google Colab 和 Kaggle 的快速體驗指令碼。官方 Docker 映象預設適配 H100 架構,也支援通過調整引數直接編譯適配 A100。

程式碼內建了一個單併發的流式 HTTP 服務,預設在 7860 埠提供輸出 24 kHz 單聲道的 PCM 音訊流。

需要看清的是開源協議。推理程式碼遵循 Apache 2.0 協議,基於阿里千問團隊 Qwen3-TTS 的音訊分詞器也是 Apache 2.0。但是 Breeze-TTS-2 的模型權重和自建服務輸出受獨立協議限制,僅供研究和非商業用途。如果要在商業產品中使用,必須購買官方的雲端 API。

為什麼重要

對於做即時 AI 對話和虛擬陪伴的獨立開發者來說,Breeze-TTS-2 提供了一個門檻極低的實驗環境。以往想要又快又像真人的語音輸出,往往只能接入高成本的閉源雲端介面,現在 12 GB 視訊記憶體就能在本地把全流程跑通。

我們認為,它的聰明之處在於把文本提示詞控制和副語言標籤直接做進了輕量流式管線裡,讓擬真感不再依賴後期的複雜拼接。不過非商業授權意味著商業專案暫時無法把它打包進私有化部署裡,團隊如果要商用,仍然繞不開官方付費服務。

來源 (1)

  1. [1]
    huggingface.co(在新分頁開啟)原文huggingface.co

每日 AI 內容精選