跳到正文
IFAI

AIGC

ElevenLabs 推出 Instant Soundtracks:上传视频自动配乐并对齐音效

首次发布 传播指数 45

ElevenLabs 推出 Instant Soundtracks 功能。用户上传视频后,AI 会自动生成原创配乐,并识别画面动作在对应时间轴上精准对齐音效。该功能支持多场景情绪切换、分轨编辑及 API 调用,还能以现有音频为参考生成风格匹配的配乐。

ElevenLabs 推出 Instant Soundtracks:上传视频自动配乐并对齐音效
图:elevenlabs.io

做过视频剪辑的人大概都经历过这种折磨:画面剪好了,还得去音效库里扒呼呼声、撞击声,然后一帧一帧拖到时间线上对齐。

ElevenLabs 刚刚推出的 Instant Soundtracks,想把这套繁琐的手工活彻底交给 AI。

这项功能整合在 ElevenCreative 和 ElevenMusic 平台里,同时也开放了 API。它的核心能力其实就一句话:你丢一段视频给它,它不仅能自动配上原创背景音乐,还能把画面里的音效找出来,并在准确的时间戳上自动卡好点。

像剪辑师一样找卡点和换情绪

以广告片为例,片尾突然甩出品牌 Logo 时,往往需要配合一声有冲击力的「呼呼」风声。以往这需要剪辑师手动打点,而新模型会直接逐帧分析画面,识别出哪些瞬间需要音效,然后直接塞进时间线对应位置。

针对节奏极快的短视频,这次更新专门收紧了剪辑点、转场和动作的对齐精度。更关键的是它能跟着画面换情绪。

如果视频前半段是快节奏画面,伴奏可能是节奏感强烈的 EDM 或 R&B;一旦画面切到慢下来、更亲密的镜头,音乐就会顺滑地切成木吉他弹唱,而不是从头到尾只有一种调子。

如果你原本就有一段很满意的配乐片段,它还支持「音频参考」模式。模型会拆解原有声音的流派、BPM 节拍、渐强走势以及乐器编排,在此基础上重新生成一套风格相似的原创配乐,省去了从零抽卡的麻烦。

轨道拆开给你调,API 也同步开放

很多一键配乐工具最让人头疼的是「一锅端」,音乐和音效混在一起,坏了一个地方就得全盘重来。

ElevenLabs 在这方面想得比较周到。在 ElevenCreative 的音乐视频编辑器里,音效和背景音乐是作为独立图层分开显示的。你可以单独微调某一个音效的时间戳、增加或删减音效,或者单把背景音乐换掉,不用推倒重做。

对于需要批量化处理的团队,这项能力也放进了 Video to Music API 里。接口新增了 add_sfx、separate_tracks 以及 use_audio_as_reference 三个参数。

只要把 separate_tracks 设为 true,接口就会直接返回一个包含独立音乐轨和音效轨的 ZIP 压缩包,方便后期放到外部剪辑软件里继续混音。目前单次请求最多支持上传 10 个视频,总量限制在 200 MB 和 10 分钟以内。

为什么重要

对自媒体作者和短视频团队来说,这个功能极具吸引力。音效卡点和找无版权背景乐一直是最耗时、也最枯燥的环节。现在只要把成片扔进去,就能在几十秒内拿出一套及格线以上的声效方案,哪怕只把它当成草稿垫轨,也能省下大半天时间。

对行业来说,AI 音频正在从单纯的「文生音频」转向「视觉理解驱动的多轨声音设计」。以前的工具大多只听文字描述,完全不知道画面长什么样;现在 ElevenLabs 把视觉理解和音频生成绑在一起,直接把战火从做背景音乐烧到了影视后期的声音设计领域。

我们认为,ElevenLabs 最聪明的地方在于坚持把音效和音乐做成「分轨」。一键生成固然省事,但影视后期最忌讳不可控的黑盒;把音轨拆开、支持后期单独微调,甚至在 API 里直接给打包 ZIP,说明他们非常清楚专业创作者的工作流程到底卡在哪里。

不过隐患也显而易见。短视频对音效卡点的要求极高,多慢两帧就会显得假,AI 对复杂动作和细微肢体碰撞的识别能力究竟有多稳,还需要在大量复杂场景下检验。但无论如何,无脑在音频库里搜音效的日子,看起来真的快要过去了。

来源 (1)

  1. [1]
    elevenlabs.io(在新标签页打开)原文elevenlabs.io

每日 AI 内容精选