微軟推出 VALL-E：只需 3 秒音訊就能克隆你的聲音

想克隆一個人的聲音，過去你可能得把他請進專業錄音棚，老老實實念上幾十分鐘甚至幾個小時的語料。

現在微軟告訴大家，這件事其實只要三秒鐘。

微軟公佈了一項名為 VALL-E 的文本轉語音研究。只要給它一段三秒鐘的說話音訊，它就能照著這個人的聲音把任意文本念出來。

連房間的迴音都能學過去

以往的聲音克隆工具通常需要大量樣本來訓練，過程繁瑣不說，生成的語音還很容易顯得僵硬死板。

VALL-E 走的是零樣本學習路線。它厲害的地方在於，不僅能還原說話人的音色，還能連帶捕捉說話時的情緒和周圍的聲學環境。

換句話說，如果你的三秒錄音是在一間帶回聲的會議室裡帶著氣憤語氣說的，它生成的新語音就會帶著同樣的情緒和房間混響。

為了練出這個本事，研究人員用了 Meta 旗下的 Libri-Light 音訊資料集。整個訓練吃進了 7000 多位說話人、累計超過 6 萬小時的英文語音。

從生成質量來看，它目前還不算完美。測試樣本里有一部分聽起來帶著金屬機械音，質感發薄；但另一部分生成的效果卻逼真得嚇人。

出於安全考慮，微軟並沒有把 VALL-E 開源。研究團隊在論文中坦言，這種能精準還原說話人身份的模型一旦失控，很容易被拿來冒充他人，或者去破解金融機構的聲音識別認證。

為什麼重要

我們認為，VALL-E 標誌著語音克隆徹底從「定製服務」走到了「隨取隨用」的門檻上。把門檻打到三秒，意味著你發在社交平臺的一條語音訊息，甚至一通騷擾電話裡你的開場白，都足夠別人拿去生成一套完整的聲音分身。

對普通創作者來說，它未來能大幅降低影片配音、播客補錄的成本。如果你錄音時念錯了一句話，不用重新架設麥克風，直接敲幾個字就能無縫修補。

但在行業層面，它也給現有的聲紋驗證安全敲了警鐘。過去銀行和客服常用的「憑聲音確認身份」，在三秒克隆技術面前看起來已經不再安全。

微軟選擇不開源是聰明的做法，至少沒有讓黑灰產立刻拿到開箱即用的作案工具。但只要論文裡的技術路徑被公開，其他團隊遲早會做出同類開源替代品。如何在語音合成普及之前建立起可靠的水印和鑑偽機制，已經成了全行業必須面對的現實問題。