ByteDance 提出 WavTTS：直接建模原始波形，几秒克隆声音

现在想克隆一个人的声音，已经不是什么难事了。给 AI 听上一两句话，它就能模仿得八九不离十。但如果你戴上耳机仔细听，很多生成的语音在微弱的呼吸声、气流感或高频细节上，总带着一点说不出的塑料感。

问题出在传统的制作流程上。为了省算力，目前主流的零样本语音合成几乎都依赖梅尔频谱图或 VAE 潜空间，先把声音信号压缩，在低维空间里做扩散生成，最后再靠声码器还原成音频。这一来一回的压缩转换，细节不可避免地被抹掉了。

ByteDance 团队公布了全新语音合成模型 WavTTS，决定硬碰硬：不借道任何压缩潜空间，直接对原始音频波形建模。

啃下原始波形这块硬骨头

直接拿原始波形做生成，理论上最干净，但之前很少有人敢这么干。原因很现实：一秒钟的高保真音频包含数万个采样点，序列长度极长，换算成计算量很容易把模型直接拖垮。

为了解决计算爆炸的问题，WavTTS 搭建在 Diffusion Transformer（DiT）和流匹配技术之上，采用了一种简洁的波形分块策略，把庞大的音频序列拆解开来处理。

光能跑起来还不够，模型很容易在微观波形里迷失方向。研究团队在训练过程中引入了多尺度梅尔频谱图监督，相当于给底层波形训练配上了一副感知指导的眼镜，确保生成结果既保真又符合人耳的听觉规律。他们还重新设计了噪声调度方案，让波形扩散的生成质量进一步提升。

测试结果显示，WavTTS 在开源基准上大幅超越了以往的端到端语音生成模型，甚至已经非常逼近当前最顶尖的潜空间零样本模型。它只需要短短几秒钟的参考样本，就能直接合成极为自然的语音。

为什么重要

从技术路线上看，WavTTS 最大的意义是打破了语音合成领域的思维定势。过去行业普遍认为直接建模原始波形费力不讨好，算力开销巨大且质量难以保证。ByteDance 证明了在波形空间里扩展扩散模型完全行得通，为端到端语音生成开辟了一条新路，很可能会促使其他大厂重新评估自己的底层架构。

对创作者和开发者而言，这意味声音克隆的门槛再次被拉低。未来无论是做自媒体配音、播客垫音，还是为游戏角色和个人语音助理定制音色，几秒钟的素材就能换来高保真的原声质感，不再需要反复微调声码器来消除数码味。

但硬币的另一面是声音安全问题。当克隆一段声音只需要几秒钟原声，且音质越来越接近真实波形时，冒充熟人求助、电信诈骗以及未经授权的音色盗用风险都会成倍增加。我们认为，随着直接波形建模技术的成熟，声音水印和来源防伪机制的跟进已经刻不容缓。