跳到正文
IFAI

AIGC

ElevenLabs 推出 Instant Soundtracks:上傳影片自動配樂並對齊音效

首次發布 傳播指數 45

ElevenLabs 推出 Instant Soundtracks 功能。使用者上傳影片後,AI 會自動生成原創配樂,並識別畫面動作在對應時間軸上精準對齊音效。該功能支援多場景情緒切換、分軌編輯及 API 呼叫,還能以現有音訊為參考生成風格匹配的配樂。

ElevenLabs 推出 Instant Soundtracks:上傳影片自動配樂並對齊音效
圖:elevenlabs.io

做過影片剪輯的人大概都經歷過這種折磨:畫面剪好了,還得去音效庫裡扒呼呼聲、撞擊聲,然後一幀一幀拖到時間線上對齊。

ElevenLabs 剛剛推出的 Instant Soundtracks,想把這套繁瑣的手工活徹底交給 AI。

這項功能整合在 ElevenCreative 和 ElevenMusic 平臺裡,同時也開放了 API。它的核心能力其實就一句話:你丟一段影片給它,它不僅能自動配上原創背景音樂,還能把畫面裡的音效找出來,並在準確的時間戳上自動卡好點。

像剪輯師一樣找卡點和換情緒

以廣告片為例,片尾突然甩出品牌 Logo 時,往往需要配合一聲有衝擊力的「呼呼」風聲。以往這需要剪輯師手動打點,而新模型會直接逐幀分析畫面,識別出哪些瞬間需要音效,然後直接塞進時間線對應位置。

針對節奏極快的短影片,這次更新專門收緊了剪輯點、轉場和動作的對齊精度。更關鍵的是它能跟著畫面換情緒。

如果影片前半段是快節奏畫面,伴奏可能是節奏感強烈的 EDM 或 R&B;一旦畫面切到慢下來、更親密的鏡頭,音樂就會順滑地切成木吉他彈唱,而不是從頭到尾只有一種調子。

如果你原本就有一段很滿意的配樂片段,它還支援「音訊參考」模式。模型會拆解原有聲音的流派、BPM 節拍、漸強走勢以及樂器編排,在此基礎上重新生成一套風格相似的原創配樂,省去了從零抽卡的麻煩。

軌道拆開給你調,API 也同步開放

很多一鍵配樂工具最讓人頭疼的是「一鍋端」,音樂和音效混在一起,壞了一個地方就得全盤重來。

ElevenLabs 在這方面想得比較周到。在 ElevenCreative 的音樂影片編輯器裡,音效和背景音樂是作為獨立圖層分開顯示的。你可以單獨微調某一個音效的時間戳、增加或刪減音效,或者單把背景音樂換掉,不用推倒重做。

對於需要批次化處理的團隊,這項能力也放進了 Video to Music API 裡。介面新增了 add_sfx、separate_tracks 以及 use_audio_as_reference 三個引數。

只要把 separate_tracks 設為 true,介面就會直接返回一個包含獨立音樂軌和音效軌的 ZIP 壓縮包,方便後期放到外部剪輯軟體裡繼續混音。目前單次請求最多支援上傳 10 個影片,總量限制在 200 MB 和 10 分鐘以內。

為什麼重要

對自媒體作者和短影片團隊來說,這個功能極具吸引力。音效卡點和找無版權背景樂一直是最耗時、也最枯燥的環節。現在只要把成片扔進去,就能在幾十秒內拿出一套及格線以上的聲效方案,哪怕只把它當成草稿墊軌,也能省下大半天時間。

對行業來說,AI 音訊正在從單純的「文生音訊」轉向「視覺理解驅動的多軌聲音設計」。以前的工具大多隻聽文字描述,完全不知道畫面長什麼樣;現在 ElevenLabs 把視覺理解和音訊生成綁在一起,直接把戰火從做背景音樂燒到了影視後期的聲音設計領域。

我們認為,ElevenLabs 最聰明的地方在於堅持把音效和音樂做成「分軌」。一鍵生成固然省事,但影視後期最忌諱不可控的黑盒;把音軌拆開、支援後期單獨微調,甚至在 API 裡直接給打包 ZIP,說明他們非常清楚專業創作者的工作流程到底卡在哪裡。

不過隱患也顯而易見。短影片對音效卡點的要求極高,多慢兩幀就會顯得假,AI 對複雜動作和細微肢體碰撞的識別能力究竟有多穩,還需要在大量複雜場景下檢驗。但無論如何,無腦在音訊庫裡搜音效的日子,看起來真的快要過去了。

來源 (1)

  1. [1]
    elevenlabs.io(在新分頁開啟)原文elevenlabs.io

每日 AI 內容精選