ByteDanceがWavTTSを発表：生波形への直接モデリングで高精度な音声クローンを実現

声のクローン生成はすでに日常的な技術になりつつありますが、ヘッドホンで注意深く聴くと、呼吸音の質感や細かなニュアンスに特有の不自然さが残っていることが少なくありません。

その原因は、現在主流のゼロショット音声合成が採用している圧縮手法にあります。多くのモデルは計算量を抑えるため、音声をメルスペクトログラムやVAEの潜在空間に一度変換し、そこで拡散モデルを動かしてから音声波形へ再変換しています。この往復処理の過程で、微細な音響情報がどうしても抜け落ちてしまうのです。

ByteDanceの研究チームは新たな音声生成モデル「WavTTS」を発表しました。中間的な潜在空間を経由せず、生の音声波形を直接モデル化するという正面突破の手法をとっています。

生波形の膨大なシーケンスをどう攻略したか

生の音声波形を直接生成することは理論上最も劣化が少ないアプローチですが、これまでは敬遠されてきました。1秒間に数万回ものサンプリング点が存在するため、系列長が極端に長くなり、計算コストが爆発してしまうためです。

WavTTSはこの課題に対し、Diffusion Transformer（DiT）とFlow Matchingを組み合わせ、波形を適切な単位にパッチ化して処理する戦略を導入しました。

さらに微細な波形データのみを学習すると全体の調和を見失いやすいため、学習時にはマルチスケールのメルスペクトログラムによる監視を導入しました。これにより、人間の聴覚知覚に即したガイダンスを与え、適切なノイズスケジューリング設計と合わせて生成品質を飛躍的に高めています。

ベンチマークテストにおいて、WavTTSは従来の端ツー端音声生成モデルを大幅に引き離し、現行最高水準の潜在空間モデルに肉薄する性能を達成しました。わずか数秒の音声サンプルを用意するだけで、自然な音声を生成できます。

なぜ重要か

技術的な観点において、WavTTSは音声合成の常識を覆しました。生の波形空間で拡散モデルを直接スケールさせることが実用的であると証明されたことで、中間圧縮に頼ってきた業界全体の技術スタックが見直される契機になる可能性があります。

コンテンツ制作やアプリ開発の現場にとっては、ボイスクローンの実用性がさらに一段階上がります。動画のナレーションやゲームキャラクター、対話型アシスタントの音声を、数秒の録音データから高精度のまま瞬時に作り出せるようになります。

一方で、倫理面やセキュリティ面の懸念は一層深まります。わずか数秒のサンプルから本物と区別がつかない生波形を生成できるとなれば、なりすまし詐欺や声の無断利用のリスクは跳ね上がります。波形直接生成の実用化が進むにつれ、電子透かしや真正性検証の仕組みを整える重要性が急速に増していくと考えられます。