Scenema Audio 开源：从 LTX 2.3 提取的语音模型，用舞台提示词演情绪

市面上绝大多数文字转语音工具听起来都很规矩，但也很像播音员。哪怕换上再好的音色，遇到需要愤怒、哭腔或者叹气的段落，声音依然平得像在念产品说明书。

ScenemaAI 开源的 Scenema Audio 就是冲着这个痛点来的。它不是从头练一套发音算法，而是直接从 Lightricks 那个 22B 参数的开源音视频模型 LTX 2.3 里面，把音频扩散架构单独剥离了出来。

像导演讲戏一样给 AI 贴标签

Scenema Audio 最大的看点在于，它把语音生成变成了拍戏现场。你在输入台词的同时，可以用类似剧本的动作标签来指挥模型怎么演。

比如在同一段话里，你可以让角色一开始慢条斯理地说话，中间突然插入一句发紧的抽泣，结尾再放慢节奏深呼吸。情绪起伏完全不需要分成几段生成再拼接，单次输出就能自己转折。

除了情绪，它还支持环境场景建模。只要在标签里写明暴风雨或者嘈杂的码头，模型就会在说话声背后自动合成雨声与雷鸣，连带着把人物对抗风雨喊话的紧迫感也一并演出来。

声音克隆方面，它支持零样本克隆。你只需要喂给它 10 到 20 秒带情绪起伏的参考音频，它就能把这个声音的特征迁移到完全陌生的台词和极端情绪里，不需要任何额外的微调或建档。

吃透显存的工程优化

Scenema Audio 的底层采用了 8 步蒸馏的隐空间扩散流程，文本编码则交给了 Google 的 Gemma 3 12B。音色转换部分使用了 SeedVC，最终直接输出 48kHz 的立体声音频。

语言支持上，它覆盖了中文、英语、日语、韩语、西班牙语等 13 种语言。对于长文本，系统会借助 Kokoro 进行音素级时长切分，并通过跨段潜空间条件控制来保证多段音频的声音一致性。

硬件门槛控制得相当克制。最低配置只需要 16GB 显存，配合 32GB 系统内存把 Gemma 3 放在 CPU 上流式运行；如果在 24GB 显存的 RTX 4090 上跑 INT8 权重与 NF4 配置，生成速度能达到 1.57 倍实时，生成 55 秒音频只要 35 秒。

当然它现在也有不少限制。单次生成的上限约在 15 秒左右，面对复杂的长多音节词汇和专有名词偶尔会读错，而且 Gemma 3 属于受限模型，下载前需要获得授权。

为什么重要

对于独立游戏开发者、动画制作团队和播客创作者来说，这是一款非常值得立即上手的工具。过去想要这种充满戏剧张力的对白，要么花大价钱请配音演员，要么忍受商用语音平台昂贵的调用费和千篇一律的机械语气。现在只要一张消费级显卡，就能在本地搭出一套全天候的数字配音室。

从技术路径来看，Scenema Audio 走了一条非常聪明的捷径。以往大家总觉得音视频联合生成模型里的音频只是画面的附属品，但它证明了多模态视频模型在学习物理世界画面的同时，也深刻学懂了人类真实情绪和声场环境的复杂关系。直接从中提炼音频模型，效果远比单模态训练来得自然。

我们认为用剧本式标签来控制表演，抓住了内容创作者最真实的痛点。AI 配音的下半场比拼的不再是发音标不标准，而是懂不懂得怎么入戏。尽管在超长段落的一致性和生僻词咬字上还有打磨空间，但开源社区已经拿到了一个能真正演戏的声音引擎。