Fish Audio 开源 TTS 模型 S2：台词内直接写标签，实现词级语音控制

给配音 AI 调情绪，以往是个挺折磨人的技术活。你要么在后台拉一堆「兴奋度」「沉稳度」的全局滑块，让整段话听起来都像在打鸡血；要么就得啃一堆复杂的 SSML 标记语言，调一个叹气可能要折腾半小时。

Fish Audio 正式发布了第二代开源语音合成模型 Fish Audio S2。它的思路很直接：别整那些复杂的控制面板了，直接把 AI 当成录音棚里的真人配音员，你怎么在台词里给演员写舞台提示，就怎么给它打标签。

像给演员讲戏一样写台词

Fish Audio S2 最大的变化是引入了行内自然语言标签。你只需要在台词的任意位置加个方括号，里面直接写人话，比如在句首写「[低声说] 不要让他们听见」，或者在半路插一句「我试过了，[叹气] 根本没用」。

这种控制是精细到词级的。标签插在哪个词前面，情绪或声音状态就从哪个词开始变，直到遇到下一个标签或者句子结束。你写「我不想进去」，整句话都很平淡；写成「我不想 [低声说] 进去」，AI 就只会在最后两个字压低声音。

更方便的是，它不需要你死记硬背固定的指令集。模型支持大约 80 种语言，也支持超过 15000 种自然语言描述标签。你可以写中文的「[叹气]」「[清嗓子]」，也可以写日文的「[囁き声で]」，甚至写一句复杂的情境描述，比如「[像做过上千次那样平静而克制的语气]」，模型都会尝试照着演。

0.195 实时率与开源全家桶

除了懂戏，S2 在硬指标上也做足了准备。官方介绍，该模型是在超过 1000 万小时的多语言音频上训练出来的。

性能方面，S2 的实时率达到 0.195，首包延迟只有 100 毫秒。这意味着在实时语音对话场景下，用户几乎感受不到停顿，说完话一瞬间就能听到自然的回应。

此外，S2 还支持长文本朗读，并且单次生成就能包含多个不同的说话人。搭配它原有的专业声音克隆功能，制作多角色广播剧或者互动故事时，不再需要分段生成再手动拼接。

在开放程度上，Fish Audio 保持了一贯的极客路线。S2 的模型权重、微调代码和推理技术栈已经全部同步在 GitHub 和 HuggingFace 上开源，同时也上线了官方 API 和网页应用供直接调用。

为什么重要

对创作者和开发者来说，S2 真正解决的是表现力控制的门槛问题。以前做高水准的 AI 播客或有声书，后期修音和调参往往要占去大半时间；现在哪怕是完全不懂音频技术的文字作者，只要会写舞台提示，就能直接在正文里「导演」情绪起伏。

首包 100 毫秒的延迟加上多角色支持，也给实时语音 Agent 打开了新空间。以前的语音助手要么情绪呆板，要么延迟大得让人出戏；如果端到端延迟能压到百毫秒级，同时还能带上抽泣、轻笑和叹息，AI 伴侣或 NPC 的拟真感会上一大截。

从行业角度看，Fish Audio 的做法相当聪明。它没有去死磕死板的参数化控制，而是把大语言模型的自然语言理解能力直接复用到语音生成层。把全套权重和微调代码开源，不仅能逼着竞品放弃繁琐的 SSML 方案，还会吸引大批独立开发者在开源社区为它添砖加瓦。

不过，开放标签虽然自由，也意味着对模型语义泛化的考验极大。过于抽象或微妙的情绪描述在实际落地时到底能还原几成，普通创作者在长文本里会不会遇到标签失效，仍然需要开发者在本地部署实测后再做判断。