ByteDance 提出 WavTTS：直接建模原始波形，幾秒克隆聲音

現在想克隆一個人的聲音，已經不是什麼難事了。給 AI 聽上一兩句話，它就能模仿得八九不離十。但如果你戴上耳機仔細聽，很多生成的語音在微弱的呼吸聲、氣流感或高頻細節上，總帶著一點說不出的塑膠感。

問題出在傳統的製作流程上。為了省算力，目前主流的零樣本語音合成幾乎都依賴梅爾頻譜圖或 VAE 潛空間，先把聲音訊號壓縮，在低維空間裡做擴散生成，最後再靠聲碼器還原成音訊。這一來一回的壓縮轉換，細節不可避免地被抹掉了。

ByteDance 團隊公佈了全新語音合成模型 WavTTS，決定硬碰硬：不借道任何壓縮潛空間，直接對原始音訊波形建模。

啃下原始波形這塊硬骨頭

直接拿原始波形做生成，理論上最乾淨，但之前很少有人敢這麼幹。原因很現實：一秒鐘的高保真音訊包含數萬個取樣點，序列長度極長，換算成計算量很容易把模型直接拖垮。

為了解決計算爆炸的問題，WavTTS 搭建在 Diffusion Transformer（DiT）和流匹配技術之上，採用了一種簡潔的波形分塊策略，把龐大的音訊序列拆解開來處理。

光能跑起來還不夠，模型很容易在微觀波形裡迷失方向。研究團隊在訓練過程中引入了多尺度梅爾頻譜圖監督，相當於給底層波形訓練配上了一副感知指導的眼鏡，確保生成結果既保真又符合人耳的聽覺規律。他們還重新設計了噪聲排程方案，讓波形擴散的生成質量進一步提升。

測試結果顯示，WavTTS 在開源基準上大幅超越了以往的端到端語音生成模型，甚至已經非常逼近當前最頂尖的潛空間零樣本模型。它只需要短短幾秒鐘的參考樣本，就能直接合成極為自然的語音。

為什麼重要

從技術路線上看，WavTTS 最大的意義是打破了語音合成領域的思維定勢。過去行業普遍認為直接建模原始波形費力不討好，算力開銷巨大且質量難以保證。ByteDance 證明了在波形空間裡擴充套件擴散模型完全行得通，為端到端語音生成開闢了一條新路，很可能會促使其他大廠重新評估自己的底層架構。

對創作者和開發者而言，這意味聲音克隆的門檻再次被拉低。未來無論是做自媒體配音、播客墊音，還是為遊戲角色和個人語音助理定製音色，幾秒鐘的素材就能換來高保真的原聲質感，不再需要反覆微調聲碼器來消除數碼味。

但硬幣的另一面是聲音安全問題。當克隆一段聲音只需要幾秒鐘原聲，且音質越來越接近真實波形時，冒充熟人求助、電信詐騙以及未經授權的音色盜用風險都會成倍增加。我們認為，隨著直接波形建模技術的成熟，聲音水印和來源防偽機制的跟進已經刻不容緩。