マイクロソフトの音声モデル「VALL-E」、わずか3秒の音声から声を再現

他人の声を再現するために、何分もスタジオで文章を読み上げさせる時代は終わりつつあります。

Microsoftの研究チームが発表した新しいテキスト読み上げAIモデル「VALL-E」は、わずか3秒の音声サンプルから声の主の音声を複製できます。

感情や部屋の反響音まで再現

従来の音声クローン作成サービスは、大量の音声データを学習させる必要がありました。

これに対してVALL-Eはゼロショット生成を採用しており、極めて短いサンプルからでも高い精度で音声を再現します。

単に声質を似せるだけでなく、話者の感情のニュアンスや録音環境の音響特性まで維持できるのが特徴です。たとえば、反響のある部屋で録音された音声であれば、生成された音声もその部屋の空気感を再現します。

学習には、Metaの音声ライブラリ「Libri-Light」に含まれる7000人以上、計6万時間以上の英語音声データが用いられました。

現状の品質にはまだばらつきがあります。一部の音声は機械的で金属質な響きが残っているものの、別のサンプルは本物と聞き分けがつかないレベルに達しています。

Microsoftはこの技術をオープンソース化していません。論文の中で同社は、声の主になりすましたり、音声認識による本人認証を突破したりする悪用リスクが存在することを認めています。

なぜ重要か

VALL-Eの登場により、音声合成のハードルは劇的に引き下げられました。3秒のデータで十分となれば、SNSに投稿した短い音声や留守番電話のメッセージだけでも、誰でも声の複製を作られてしまう可能性があります。

クリエイターにとっては、セリフの言い間違いをスタジオに戻ることなくテキスト入力だけで修正できるなど、制作現場を効率化する大きな武器になります。

一方で、銀行やセキュリティサービスで普及しつつある声紋認証の前提が崩れかねないという懸念もあります。Microsoftがコードの公開を見送った判断は妥当ですが、手法自体が公開された以上、同様のツールを構築する動きは止められません。合成音声を見分ける検証技術や透かしの導入が、業界全体の急務となっています。