Resemble AI 发布 DramaBox:像写剧本一样控制语音,叹气大笑全听指挥
Resemble AI 发布表现力语音模型 DramaBox。它像剧本一样工作:引号内念台词,引号外用自然语言写情绪、叹气或笑声等舞台指示,还能克隆音色。最关键的是它不仅自带抗篡改水印,还开放了本地模型下载,不过本地运行需要 24GB 显存。
做过配音或者用过语音合成的人,大概都遇到过这种让人抓狂的状况:AI 读出来的字句明明全对,音质也没问题,但听起来就是有一股说不出的假,平得像白开水。
过去你想让它带点情绪,得在后台调各种数值参数,或者在台词里塞满奇怪的代码标签。可现实里哪个导演会冲着演员喊「情绪强度给我拉高 20%」?
语音生成公司 Resemble AI 拿出了一个新思路,正式发布表现力语音模型 DramaBox。他们解决平淡感的方法很直接:把提示词彻底做成电影剧本,用大白话写场景和动作,让 AI 自己去领会表演。
像剧本一样分工,引号外全是戏
DramaBox 的核心机制其实非常简单,它把输入文本分成了两个互不干扰的空间。
双引号里面的内容,是角色要读出来的台词;双引号外面的一切文字,模型都会当成舞台指示和背景设定,绝不会傻傻念出来。
比如你在提示词里写「一位高贵的女人带着冷酷的怒意,低声叹了一口气:『我已经告诉过你一千次了,可我们又回到了这里。』」模型就会先给出一声沉重的叹息,再带着压抑的怒火念出台词。
如果你想让角色中途笑场,只要在引号外写「她一边说一边忍不住咯咯直笑,在笑声间隙倒吸了一口气」,生成出来的音频里就会自然夹杂憋笑、喘息甚至笑到破音的效果,而不是生硬地把叹气和笑声拼贴上去。
更方便的是它支持声音克隆。你只需要喂给它一段 10 秒钟的参考音频,模型就能复刻那个人的音色,同时完全遵循剧本里的情绪演出来;如果不给参考音频,它就会自己编造一个符合场景描述的全新嗓音。
3.3B 参数与 24GB 显存的本地门槛
从技术底层看,DramaBox 是一个 3.3B 参数的纯音频扩散 Transformer,搭配了一个 4-bit 量化的 Gemma 3 12B 文本编码器,部分技术也是从视频模型 LTX 2.3 中提取演化而来。
它能输出 48kHz 的立体声高质量音频。在预热过的 H100 显卡上,单次生成只需要大约 2.5 秒。
更棒的是,Resemble AI 这次直接开放了模型下载和本地运行说明。不过想在自己的电脑上跑起来,硬件门槛着实不低。
音频模型本身虽然只有 7GB,但加上 8GB 的文本编码器和其他组件,官方给出的峰值显存占用高达 24GB。16GB 显存或许能勉强碰碰运气,但基本还是需要一张中高端独立显卡才能顺畅运行。
此外,他们还在音频信号本身嵌入了防伪水印 Resemble Watermarker。这种水印人耳完全听不见,但即使经过压缩、重编码或常规音频剪辑,检出率依然接近 100%,专门用来应对欧盟 AI 法案等法规对深度伪造的合规要求。开源机器学习工程师 Joshua Lochner 随后发文祝贺,并透露 Resemble TTS 家族在 Hugging Face 上的总下载量已经突破了 1000 万次。
为什么重要
我们认为,DramaBox 最聪明的地方在于把语音控制从「机器参数」拉回到了「人类直觉」。
以往无论是调节语调还是插入拟声词,创作者都要在各种标签系统和百分比滑块里反复试错。用剧本格式隔开台词和表演指示,不仅大幅降低了学习成本,也让长篇有声书、播客和游戏配音的自动化制作变得真正可行。
对独立开发者和小型游戏团队来说,只要手头有张好显卡,就能在本地低成本搞出极具戏剧张力的 NPC 对话,完全告别过去传统 TTS 的机械味。
不过门槛也明明白白摆在那里。高达 24GB 的显存占用直接把绝大多数普通消费级电脑挡在门外,本地部署目前仍然是少数高阶玩家的游戏。
对整个行业而言,Resemble AI 把高表现力生成和防伪水印绑在一起开源,更像是在给同行树立标杆:光把声音做逼真已经不够了,面对日趋严格的法律监管,谁能同时交出令人信服的演技和防滥用方案,谁才握有商业落地的门票。
来源 (1)
- resemble.ai(在新标签页打开)原文resemble.ai