Fish Audio 開源 TTS 模型 S2：臺詞內直接寫標籤，實現詞級語音控制

給配音 AI 調情緒，以往是個挺折磨人的技術活。你要麼在後臺拉一堆「興奮度」「沉穩度」的全域性滑塊，讓整段話聽起來都像在打雞血；要麼就得啃一堆複雜的 SSML 標記語言，調一個嘆氣可能要折騰半小時。

Fish Audio 正式釋出了第二代開源語音合成模型 Fish Audio S2。它的思路很直接：別整那些複雜的控制面板了，直接把 AI 當成錄音棚裡的真人配音員，你怎麼在臺詞裡給演員寫舞臺提示，就怎麼給它打標籤。

像給演員講戲一樣寫臺詞

Fish Audio S2 最大的變化是引入了行內自然語言標籤。你只需要在臺詞的任意位置加個方括號，裡面直接寫人話，比如在句首寫「[低聲說] 不要讓他們聽見」，或者在半路插一句「我試過了，[嘆氣] 根本沒用」。

這種控制是精細到詞級的。標籤插在哪個詞前面，情緒或聲音狀態就從哪個詞開始變，直到遇到下一個標籤或者句子結束。你寫「我不想進去」，整句話都很平淡；寫成「我不想 [低聲說] 進去」，AI 就只會在最後兩個字壓低聲音。

更方便的是，它不需要你死記硬背固定的指令集。模型支援大約 80 種語言，也支援超過 15000 種自然語言描述標籤。你可以寫中文的「[嘆氣]」「[清嗓子]」，也可以寫日文的「[囁き聲で]」，甚至寫一句複雜的情境描述，比如「[像做過上千次那樣平靜而剋制的語氣]」，模型都會嘗試照著演。

0.195 即時率與開源全家桶

除了懂戲，S2 在硬指標上也做足了準備。官方介紹，該模型是在超過 1000 萬小時的多語言音訊上訓練出來的。

效能方面，S2 的即時率達到 0.195，首包延遲只有 100 毫秒。這意味著在即時語音對話場景下，使用者幾乎感受不到停頓，說完話一瞬間就能聽到自然的回應。

此外，S2 還支援長文本朗讀，並且單次生成就能包含多個不同的說話人。搭配它原有的專業聲音克隆功能，製作多角色廣播劇或者互動故事時，不再需要分段生成再手動拼接。

在開放程度上，Fish Audio 保持了一貫的極客路線。S2 的模型權重、微調程式碼和推理技術棧已經全部同步在 GitHub 和 HuggingFace 上開源，同時也上線了官方 API 和網頁應用供直接呼叫。

為什麼重要

對創作者和開發者來說，S2 真正解決的是表現力控制的門檻問題。以前做高水準的 AI 播客或有聲書，後期修音和調參往往要佔去大半時間；現在哪怕是完全不懂音訊技術的文字作者，只要會寫舞臺提示，就能直接在正文裡「導演」情緒起伏。

首包 100 毫秒的延遲加上多角色支援，也給即時語音 Agent 打開了新空間。以前的語音助手要麼情緒呆板，要麼延遲大得讓人出戲；如果端到端延遲能壓到百毫秒級，同時還能帶上抽泣、輕笑和嘆息，AI 伴侶或 NPC 的擬真感會上一大截。

從行業角度看，Fish Audio 的做法相當聰明。它沒有去死磕死板的引數化控制，而是把大語言模型的自然語言理解能力直接複用到語音生成層。把全套權重和微調程式碼開源，不僅能逼著競品放棄繁瑣的 SSML 方案，還會吸引大批獨立開發者在開源社群為它添磚加瓦。

不過，開放標籤雖然自由，也意味著對模型語義泛化的考驗極大。過於抽象或微妙的情緒描述在實際落地時到底能還原幾成，普通創作者在長文本里會不會遇到標籤失效，仍然需要開發者在本地部署實測後再做判斷。