跳到正文
IFAI

AI工具

ElevenLabs 預告 AI 音效:文字直接生成音效與環境音

首次發布 傳播指數 44

ElevenLabs 預告即將推出 AI 音效生成功能。創作者通過文字提示詞即可直接生成定製音效、聲景與環境音,將其音訊創作能力從語音和音樂進一步擴充套件至全場景聲音設計。

圖:newatlas.com

上週 OpenAI 掏出 Sora 時,整個網際網路都在驚呼影片生成的時代來了。但震撼之餘,很多人也發現了一個挺尷尬的現實:這些高畫質逼真的大片,全都是默片,連一點腳步聲都沒有。

專門做 AI 語音的 ElevenLabs 反應極快。2 月 19 日,他們放出了自家正在研發的 AI 音效模型,二話不說,直接拿 Sora 官方放出的幾段無聲影片做靶子,給它們配上了全套聲音。

把擬音師裝進提示詞框

根據 ElevenLabs 的演示,這個工具就像是一個打包在文本框裡的擬音團隊。你只要輸入畫面描述或者聲音要求,它就能吐出對應的逼真聲音。

在他們給 Sora 補全的片段裡,提示詞寫得很直接。比如輸入「海浪拍岸」「金屬撞擊」「鳥鳴」或者「賽車引擎」,生成的音訊就嚴絲合縫地貼在了畫面上。

效果確實很有說服力。喧鬧街道上行人的腳步聲混著城市底噪、未來雙足機器人身上的蜂鳴和機械傳動聲,甚至再加上一段好萊塢預告片質感的渾厚旁白,原本像動圖一樣的影片瞬間有了電影味。

ElevenLabs 由前 Google 機器學習工程師 Piotr Dabkowski 和前 Palantir 策略師 Mati Staniszewski 在 2022 年創立。他們之前靠高質感的語音克隆和能保留原聲音色的多語言配音打出了名氣,現在顯然想把手從「人聲」伸向「一切聲音」。

目前官方還沒公佈這項技術的具體上線時間和模型細節,只是在官網上線了一個候補登記入口,感興趣的人可以先排隊。

為什麼重要

對於做影片的內容創作者和獨立開發者來說,這項功能如果真能穩定落地,價值非常直接。找音效、調配樂往往佔掉影片剪輯相當大一部分垃圾時間,很多人為了找一個關門聲或背景底噪要翻半天素材庫,現在只要敲幾個詞就能按需定製,製作門檻被砍掉了一大截。

從行業競爭來看,ElevenLabs 這招蹭熱點的姿態極其聰明。Sora 把聚光燈打得最亮的時候,大家都在討論影片生成,ElevenLabs 沒有硬去碰自己不擅長的畫面,而是以最快速度補齊了多模態影片鏈條裡被遺落的半壁江山,把自己順理成章地繫結成了影片生成下游最關鍵的拼圖。

但我們認為,這裡的隱患也在於「兩頭脫節」。現在的做法是靠人工看畫面再手寫提示詞去生成音訊,再人工對齊,並不是真正的音影片端到端聯合生成。如果未來主流的影片模型自己搞定了根據畫面同步生成音軌的能力,單獨的音效生成工具很可能會淪為一個過渡形態。值不值得現在關注?如果你經常被素材庫折磨,先去排個候補名單看看成色,絕對不虧。

來源 (2)

  1. [1]
    elevenlabs.io(在新分頁開啟)原文elevenlabs.io
  2. [2]

每日 AI 內容精選