Fish Audio 開源 Drama 3：單段支援 16 人分飾與區域性音訊修改

Fish Audio 開源了新一代文本轉語音模型 Drama 3，專門用來做多角色配音和長篇有聲內容生成。

以往絕大多數開源語音模型只有幾億到幾十億引數，通常只能單人朗讀。Drama 3 最大的不同，是能在一整段文本里靠角色標籤最多同時切分出 16 個不同角色的聲音，一人分飾多角，適合用來做廣播劇、對話節目或小說旁白。

它能做什麼

除了多人同臺，Drama 3 還在提示詞里加入了更細緻的情緒和行為控制。

你可以在文字中間直接插入嘆氣、大笑這類標籤，比如寫上 sigh 或 laughs，模型就會在對應位置發出逼真的嘆息和笑聲，語氣不再像傳統的死板朗讀機器。使用者只要提供一段簡短的參考音訊，它就能克隆對應音色。

另一個非常省心的地方是音訊區域性修改，像改文件一樣方便。以前如果唸錯了一個詞，往往得把整段音訊甚至整章重跑一遍；Drama 3 支援把之前的音訊 token 放回上下文，只改動有變動的詞，模型會順著前後的語流和語調把新詞接上。

遇到長篇大論時，系統會自動切塊並支援流式生成，不需要等整本小說跑完才開始播放。

怎麼跑起來與效能表現

Drama 3 的底座是一套 35B 引數的 MoE 文本模型，但在生成時每個 token 只有 3B 引數處於啟用狀態。它的音訊解碼器採用了 10 個 codebook 的因果解碼架構，MoE 專家層用 FP8，其餘權重用 bf16。

別看模型總引數有 350 億，因為只啟用 3B，社群有使用者反饋最低用 8GB 視訊記憶體就能在本地跑起來。

在服務端部署上，Drama 3 上線當天就原生支援了 SGLang-Omni 和 vLLM-Omni。官方在單張 NVIDIA H200 上的實測資料顯示，單併發下的首包音訊延遲不到 100 毫秒；在 16 併發下，生成速度依然比實際播放快 2.7 倍；就算壓到 64 併發，平均即時率 RTF 依然能保持在 0.8 左右。

如果併發衝到 128 或 256，還可以把聲碼器單獨丟到第二張顯示卡上，吞吐量能提升約 72%，首包音訊的中位數等待時間也能縮短 37%。

目前 Drama 3 的模型權重已經在 Hugging Face 上開放下載，採用 Fish Audio Community License 許可證。在 Artificial Analysis 的開源語音模型榜單上，Drama 3 目前位居第一。

為什麼重要

對於做廣播劇、遊戲配音或有聲書的獨立開發者和創作者來說，Drama 3 解決了以往開源配音最頭疼的兩個痛點：多角色音色打架，以及讀錯一個字就得整段重錄。

把它做成 35B 總引數但只啟用 3B 的 MoE 架構，是個很聰明的折中。它既靠大引數量吃透了複雜的角色切換和語義停頓，又沒把本地部署的視訊記憶體門檻抬到普通人摸不起的高度。如果你手裡有張中高階顯示卡，正想做自己的有聲劇工作流，這套模型非常值得現在下載下來跑一跑。