跳到正文
IFAI

大模型

Meta 開放 Audiobox 試用:支援零樣本語音合成與文本生成音效

首次發布 傳播指數 49

Meta 開放音訊生成基礎研究模型 Audiobox 的試用 Demo。該模型支援零樣本語音合成(Zero shot TTS)、文本生成音效以及音訊修復填充(Infilling)等能力,現在即可直接線上體驗。

Meta 開放 Audiobox 試用:支援零樣本語音合成與文本生成音效
圖:x.com

想給一段影片配上腳步聲,或者讓 AI 用你的聲音讀出一段話?Meta 剛剛把這種音訊生成工具開放給大家玩了。

Meta 的 AI 團隊宣佈上線基礎研究模型 Audiobox 的試用 Demo。這是一款面向音訊生成的基礎模型,普通人現在就能在瀏覽器裡直接上手體驗。

聲音克隆與音效生成全包了

根據官方公佈的資訊,Audiobox 的 Demo 覆蓋了多種音訊處理能力。

它不僅支援零樣本語音合成(Zero-shot TTS),也就是隻靠極短的參考音訊就能模仿發音,還支援文本生成音效,直接用文字描述生成環境聲或音效。

此外,模型還具備音訊補全(Infilling)等能力,可以用來替換或填補現有音訊裡的特定片段。

為什麼重要

Meta 把零樣本配音、音效合成和區域性修補打包放進同一個 Demo,對內容創作者和影片播客來說非常友好。這意味著以後給影片補錄一句臺詞,或者加一段環境音效,不再需要開啟一堆專業剪輯軟體或者去素材庫慢慢翻。

從技術佈局來看,相比目前市面上專注單一語音克隆或單一音樂生成的工具,Meta 顯然把 Audiobox 當作音訊領域的統一基礎模型來推。把試用門檻放低到網頁端,能讓更多普通使用者參與測試,也方便官方收集反饋進一步調優。

不過目前這只是研究性質的 Demo,生成音效的細節還原度以及在複雜背景下的穩定性,還需要大家在實際測試裡多觀察。

來源 (1)

  1. [1]
    @AIatMeta(在新分頁開啟)原文twitter.com

話題追蹤Meta Audiobox

這個話題的歷次新聞,最新的在上面。

  1. Meta 開放 Audiobox 試用:支援零樣本語音合成與文本生成音效本則
  2. Meta 釋出 Audiobox:輸入文字就能做音效、改語音

每日 AI 內容精選