Scenema Audio 开源：把声音与情绪解耦，用舞台指示给克隆声音演戏

玩过声音克隆的人大多踩过同一个坑：你给模型一段冷静温和的参考录音，它生成出来的台词就永远是一副波澜不惊的读书腔；如果想要一段歇斯底里的怒吼，你就得先满世界去找一段包含怒吼的原声。

Scenema AI 带来的 Scenema Audio 打算打破这个规矩。

团队开源了这个音频扩散模型，核心卖点就是把声音音色和情绪表演彻底解耦。你只要给它一段几秒钟的干净人声，剩下的喜怒哀乐、说话节奏甚至是呼吸声，全凭你在提示词里写下的舞台指示来决定。

让平静的声音当场发飙

Scenema Audio 官方直接给出了一个鲜明对比：参考音频是一段平稳克制的平静朗读，但在提示词里加上「盯着彩票、双手颤抖、从震惊逐渐转为无法控制的兴奋」之后，克隆出的声音就会彻底撕破冷静，带着颤音和粗重的喘息大喊。

这在以往的零样本声音克隆里很难做到。以往的技术往往把音色和情绪绑死在参考音频里，参考音频里没有愤怒，模型就演不出愤怒。

Scenema Audio 走的是另一条路。模型先根据文本提示词生成带有具体演戏状态的音频轮廓，再把参考音频里的音色特征迁移过去。也就是说，只要提示词写得够细，任何声音都能演出它从未被录制过的情绪。

除了情绪，它还能改口音。输入一段澳洲女性的闲聊录音，在提示词里注明「美式口音」并加上「还没开口就忍不住在笑」的舞台指示，生成结果不仅换了地道的美式发音，还会带着边笑边讲段子的断续感。

模型甚至支持在单段台词里插入动作标签，实现中途情绪切换。比如上一秒还是极度克制的压抑，下一秒就在争吵中失控爆发。它还具备多语言能力，拿一段奥巴马的英语演讲片段做参考，就能直接生成标准西班牙语、法语、德语甚至斯瓦希里语的发言。

如果你根本不想克隆谁，也可以直接靠文字「捏」声音。写一段「围坐在炉火边的老爷爷，声音沙哑温暖」，模型就能从零凭空捏造出匹配的全新音色。

从视频模型里「抠」出来的音频神器

有趣的是，Scenema Audio 并不是从零训练的独立语音项目。

研发团队是从开源视频生成模型 LTX 2.3 内部，直接把原有的音频扩散部分单独剥离出来的。他们发现，优秀的本地音视频多模态模型在纯音频生成上的表现其实非常惊人，完全可以作为独立的表演级语音工具使用。

Scenema AI 已经把代码和模型权重放到了 GitHub 与 Hugging Face，并附带了开箱即用的本地图形界面。

不过想在本地跑起来还是有点门槛。如果运行量化版音频模型，最低需要 16GB 显存，同时还需要搭配 32GB 以上的系统内存。

为什么重要

我们认为，Scenema Audio 解决的是 AI 配音领域最让人头疼的「假人感」。

过去的内容创作者做广播剧、游戏 NPC 配音或者短剧旁白，最怕听到平铺直叙的朗读腔。想要让 AI 角色根据剧情起承转合，往往要在各种剪辑软件里人工拼接情绪片段，或者不断换参考音频去撞大运。

现在创作者只需要像导演一样写剧本和舞台指示，就能精确控制角色在某一句话甚至某个词上的情绪爆发。这种控制力对于独立游戏开发者和低成本视频团队来说非常实用。

对整个语音生成行业而言，它也指明了一个新方向：未来的语音模型比拼的不再是谁读得更像播音员，而是谁更能理解「表演」。把视频大模型中的跨模态音频能力单独拆出并开源，很可能会逼着其他音频闭源厂商加快开放更加精细的情绪控制接口。

不过我们也要看到，16GB 显存加 32GB 内存的要求，对普通轻度玩家来说并不算低；而且多语言生成在小语种上的发音偶尔还会出现偏差。但就目前展现出的表现力和可控度来看，它无疑是本地配音工具里非常值得一试的新选手。