跳到正文
IFAI

AI工具

ElevenLabs 推出 v3 音频标签:打标签就能控制 AI 说话节奏与停顿

首次发布 传播指数 40

ElevenLabs 为 Eleven v3 推出音频标签功能,让创作者直接在台词中插入标签控制语速、停顿和重音。比如写上 [pause]、[rushed] 或 [stammers],AI 就会配合改变停顿与语气。不过目前该功能对专业声音克隆(PVC)支持尚不完善。

ElevenLabs 推出 v3 音频标签:打标签就能控制 AI 说话节奏与停顿
图:elevenlabs.io

同一句「我没事」,平铺直叙地念出来,跟深吸一口气后结结巴巴地说出来,意思天差地别。

AI 语音工具以前最让人头疼的,就是这种只懂念字不懂演戏的塑料感。ElevenLabs 最近为正在测试的 Eleven v3 拿出了一个新解法,叫 Audio Tags 音频标签。

简单来说,它让你像在剧本里写舞台指示一样,直接把控制语速、停顿和呼吸的标签插进台词里,指挥 AI 怎么把一句话说出戏剧感。

把文本变成乐谱

这套音频标签覆盖了人类说话时最微妙的节奏动作。

比如你想控制呼吸和停顿,可以随手敲进 pause、breathes 或者 continues after a beat。想制造紧张或迫切感,可以用 rushed 或 rapid-fire 加快语速;想要故弄玄虚,就用 slows down 或 deliberate 慢下来。

ElevenLabs 甚至还塞进了很多以前很难靠提示词调出来的微动作,比如打结巴的 stammers、拉长尾音的 drawn out,以及咽口水的 gulps。

这些标签还能叠在一起用。比如在一句台词开头连着写上 hesitant 和 nervous,接着输入半截话,中间加个咽口水标签,最后再接一句故作镇定的话。

ElevenLabs 把这种精细控制形容成给乐谱打拍子,创作者不再只是扔一段文本等模型抽奖,而是能逐帧调整一句台词在什么时候落地。

不过这项功能目前还属于研究预览阶段,也有个不小的尴尬。ElevenLabs 提示说,目前针对个人定制的专业声音克隆在 v3 模型上的优化还没做完,生成效果甚至可能不如老版本。

团队建议现在想体验标签功能的创作者,先用即时克隆声音或者官方预设的声音来测,专业克隆的适配还要等后续更新。

为什么重要

我们认为,这是 AI 语音从朗读工具走向表演工具的关键一步。

对播客作者、短视频创作者和有声书独立制作人来说,最大的痛点从不是音质不够真,而是情绪不够对。过去为了让一句话听起来有喜剧效果或者悬疑感,往往得反复重生成几十次看运气,或者拉进剪辑软件里手动切开音频调间距。现在把控制权下放到文本层,不仅大幅省下了试错成本,也让一人制作多角色广播剧变得更现实。

对整个行业而言,这表明语音合成的竞争焦点已经从还原音色转向了导演能力。单靠堆参数和拟真度已经拉不开差距,谁能让创作者更精准地干预输出,谁才能真正吃下专业内容生产的工作流。

不过,这种基于标签的控制方式看起来聪明,但也给文本输入带来了一定的门槛。如果写一段五分钟的对白需要手动插入上百个标签,工作量其实并不轻松。接下来就看它能不能和写作智能体联动,让大模型自动根据故事情境生成带有精准标签的脚本文本,那才是生产力真正爆发的时候。

来源 (1)

  1. [1]
    elevenlabs.io(在新标签页打开)原文elevenlabs.io

每日 AI 内容精选