跳到正文
IFAI

AIGC

Meta 釋出 Audiobox:輸入文字就能做音效、改語音

首次發布 傳播指數 31

Meta 釋出音訊生成模型 Audiobox。作為 Voicebox 的後繼者,它不僅能用文本提示詞直接生成語音、音效和環境音,還支援「語音+文本」雙輸入來自由調整語氣與場景。目前該模型僅面向受選研究人員開放申請,並同步上線了互動 Demo。

Meta 釋出 Audiobox:輸入文字就能做音效、改語音
圖:ai.meta.com

想給一段雨聲里加兩聲悶雷,或者讓原本平淡的錄音瞬間聽起來像在空曠的大教堂裡說話,過去得靠專業的混音師翻遍音效庫,再一點點調混響。

Meta 剛剛拿出了 Voicebox 的繼任者 Audiobox。它把人類語音、離散音效和完整的聲音環境統一塞進了一個模型裡,支援使用者直接用自然語言描述來生成或編輯音訊。

既能捏嗓子,也能造環境

Audiobox 最直觀的改變是支援雙輸入互動。比如你可以直接輸入一段文字描述,像「水流湍急的小河伴隨鳥鳴」或者「年輕女性用高音調和快語速說話」,模型就會從零生成對應的環境音或人聲。

更有意思的是聲音重塑。使用者可以丟給模型一段現成的人聲錄音作為音色錨點,再附帶一句文本提示詞,例如「在教堂裡」或者「悲傷且緩慢地說話」。

據 Meta 介紹,這是業內首個支援通過聲音提示加文本描述進行自由聲音風格重塑的模型。在聲音風格相似度測試中,Audiobox 比前代 Voicebox 提升了 30% 以上。

在生成質量和對文本描述的忠實度上,Meta 表示其主觀評測結果顯著超過了此前的 AudioLDM2、VoiceLDM 和 TANGO 等頂尖模型。

把做音訊變成「填空題」

技術架構上,Audiobox 沿用了 Voicebox 的 Flow-matching 建模方法和引導生成訓練目標,但泛化範圍擴大到了非語言音效。

這也讓它具備了音訊修復與填充能力。說白了,你可以把它當成聲音領域的修圖軟體:如果你覺得一段下雨的聲音太單調,可以用提示詞精準地在中間空隙插進幾段不同質感的雷聲。

不過,強大的聲音克隆和擬真能力也帶來了濫用隱患。Meta 並沒有完全開源這個模型,而是通過定向稽核的方式,僅向少數有語音研究背景的學者和學術機構開放純研究許可,同時在官網上線了一個互動式體驗 Demo。

為什麼重要

我們認為,Audiobox 最大的意義在於打破了聲音領域專業工程與大眾創作之間的壁壘。

對於播客創作者、獨立獨立遊戲開發者或影片製作者來說,傳統擬音和尋找合適音效的成本極高。Audiobox 證明了自然語言完全可以作為聲音調控的通用介面,未來的音效創作很可能會像今天用 Midjourney 生成配圖一樣自然。

Meta 的聰明之處在於統一了語音與音效兩大模態。以前做人聲克隆的模型不懂環境音,做環境音的模型不會調情緒,Audiobox 把音色、情緒、空間混響和背景噪音全部揉進一個模型裡,讓「聲畫同步」的上下文編輯變得真正可用。

隱患也顯而易見。人聲克隆和環境偽造的門檻被徹底打穿後,欺詐和冒充的風險急劇增加。Meta 選擇僅向特定學者開放權重並上線受限 Demo,看起來是在技術展示與安全倫理之間做出的謹慎折中。但只要這項技術的技術路徑被驗證,開源社群的復現只是時間問題,行業對合成音訊的水印與鑑偽需求將變得空前迫切。

來源 (1)

  1. [1]
    ai.meta.com(在新分頁開啟)原文ai.meta.com

話題追蹤Meta Audiobox

這個話題的歷次新聞,最新的在上面。

  1. Meta 開放 Audiobox 試用:支援零樣本語音合成與文本生成音效
  2. Meta 釋出 Audiobox:輸入文字就能做音效、改語音本則

每日 AI 內容精選