ElevenLabs 预告 AI 音效:文字直接生成音效与环境音
ElevenLabs 预告即将推出 AI 音效生成功能。创作者通过文字提示词即可直接生成定制音效、声景与环境音,将其音频创作能力从语音和音乐进一步扩展至全场景声音设计。
上周 OpenAI 掏出 Sora 时,整个互联网都在惊呼视频生成的时代来了。但震撼之余,很多人也发现了一个挺尴尬的现实:这些高清逼真的大片,全都是默片,连一点脚步声都没有。
专门做 AI 语音的 ElevenLabs 反应极快。2 月 19 日,他们放出了自家正在研发的 AI 音效模型,二话不说,直接拿 Sora 官方放出的几段无声视频做靶子,给它们配上了全套声音。
把拟音师装进提示词框
根据 ElevenLabs 的演示,这个工具就像是一个打包在文本框里的拟音团队。你只要输入画面描述或者声音要求,它就能吐出对应的逼真声音。
在他们给 Sora 补全的片段里,提示词写得很直接。比如输入「海浪拍岸」「金属撞击」「鸟鸣」或者「赛车引擎」,生成的音频就严丝合缝地贴在了画面上。
效果确实很有说服力。喧闹街道上行人的脚步声混着城市底噪、未来双足机器人身上的蜂鸣和机械传动声,甚至再加上一段好莱坞预告片质感的浑厚旁白,原本像动图一样的视频瞬间有了电影味。
ElevenLabs 由前 Google 机器学习工程师 Piotr Dabkowski 和前 Palantir 策略师 Mati Staniszewski 在 2022 年创立。他们之前靠高质感的语音克隆和能保留原声音色的多语言配音打出了名气,现在显然想把手从「人声」伸向「一切声音」。
目前官方还没公布这项技术的具体上线时间和模型细节,只是在官网上线了一个候补登记入口,感兴趣的人可以先排队。
为什么重要
对于做视频的内容创作者和独立开发者来说,这项功能如果真能稳定落地,价值非常直接。找音效、调配乐往往占掉视频剪辑相当大一部分垃圾时间,很多人为了找一个关门声或背景底噪要翻半天素材库,现在只要敲几个词就能按需定制,制作门槛被砍掉了一大截。
从行业竞争来看,ElevenLabs 这招蹭热点的姿态极其聪明。Sora 把聚光灯打得最亮的时候,大家都在讨论视频生成,ElevenLabs 没有硬去碰自己不擅长的画面,而是以最快速度补齐了多模态视频链条里被遗落的半壁江山,把自己顺理成章地绑定成了视频生成下游最关键的拼图。
但我们认为,这里的隐患也在于「两头脱节」。现在的做法是靠人工看画面再手写提示词去生成音频,再人工对齐,并不是真正的音视频端到端联合生成。如果未来主流的视频模型自己搞定了根据画面同步生成音轨的能力,单独的音效生成工具很可能会沦为一个过渡形态。值不值得现在关注?如果你经常被素材库折磨,先去排个候补名单看看成色,绝对不亏。
来源 (2)
- elevenlabs.io(在新标签页打开)原文elevenlabs.io
- newatlas.com(在新标签页打开)报道newatlas.com