Meta 推出語音模型 Voicebox:憑 2 秒音訊克隆,還能像橡皮擦修雜音
Meta 公佈語音生成模型 Voicebox。它基於上下文學習,只需 2 秒音訊樣本就能模仿音色合成語音,支援 6 種語言的風格遷移,還能像橡皮擦一樣切除雜音並重生成無縫語音。

錄播客或者拍影片的人,大概都經歷過這種崩潰瞬間:整段錄音錄得很完美,偏偏中間混進了一聲汽車鳴笛,或者自己咬錯了一個字。
以往遇到這種情況,要麼老老實實重錄一遍,要麼在剪輯軟體裡痛苦地修修補補。Meta 最近拿出的語音生成模型 Voicebox,想解決的就是這種麻煩。
Meta 把它定義為一個通用的語音生成模型。它最厲害的地方在於,憑藉類似大語言模型的上下文學習能力,不需要針對某個任務單獨微調,就能直接處理剪輯、取樣和聲音風格遷移。
像用橡皮擦一樣修音訊
Voicebox 最直觀的一個用法,是音訊編輯和降噪。Meta 把它比作音訊處理裡的「橡皮擦」。
比如錄音裡有一段被狗叫聲蓋住了,或者你中間說錯了一個詞,你不需要把整段話重新念一遍。你只要把那兩秒剪掉,讓 Voicebox 根據前後的語調,重新把那句話補齊。
補出來的聲音不僅內容對得上,連語氣、語速和環境氛圍都能保持一致,聽起來就像是一口氣錄完的。
更誇張的是克隆門檻。Voicebox 只需要兩秒鐘的聲音樣本,就能抓準一個人的聲音特徵,然後用這個聲音去讀任意輸入的文字。
讓你用自己的聲音說六門外語
除了常規的語音克隆,Voicebox 還支援跨語言風格遷移,目前覆蓋了英語、法語、德語、西班牙語、波蘭語和葡萄牙語這六種語言。
這意味著你哪怕完全不會法語,只要給它一段你平時的英語錄音,再塞給它一段法文文本,它就能用你自己的音色和說話習慣,字正腔圓地把法語讀出來。
此外,Meta 表示這個模型是用非常多樣化的現實語料訓練的,所以它生成的語音不會像傳統語音助手那樣帶著濃濃的播音腔,而是更接近真人平時說話的口音、停頓和雜音細節。
未來 Meta 打算把它塞進虛擬助手的嘴裡,或者給元宇宙裡的 NPC 配音,甚至讓視障人士聽 AI 用朋友的原聲朗讀發來的文字資訊。
為什麼重要
對內容創作者和配音行業來說,這種技術的落地門檻非常低。兩秒音訊就能克隆,再加上無痕修音,影片後期補錄臺詞的成本直接被打到了地板上。如果你平時做跨語種出海內容,以前找多語種外教配音的開銷,未來可能幾行文字就能搞定。
對行業而言,Voicebox 證明了大模型那套上下文學習的邏輯在語音領域同樣行得通。語音合成正在從過去必須專門訓練某個特定聲音的定製模式,變成一種零樣本、即插即用的通用能力,這會逼著現有的配音工具和 TTS 平臺迅速重構底層架構。
我們認為 Meta 這一步切得非常精準,它沒有把語音 AI 當成單純的朗讀機器,而是把它做成了類似影像修圖一樣的互動式工具。音訊擦除和跨語言替換,直擊真實工作流裡的痛點。
不過隱患也同樣明顯。只要兩秒音訊就能高保真克隆一個人的聲音,甚至還能讓對方說出六種語言,這意味著聲音防偽的防線幾乎被徹底擊穿。在深度偽造和電話詐騙橫行的當下,這種技術在開放使用前,必須要拿出極其嚴格的鑑偽和水印方案,否則它惹出的麻煩可能比帶來的便利還要多。
來源 (1)
- about.fb.com(在新分頁開啟)原文about.fb.com