LongCat Audio Edit 公開：数秒の音声で高精度にクローン生成

かつて他人の声を再現するには、スタジオ収録されたクリアな音声データと数時間のファインチューニングが欠かせませんでした。しかし今や、そのハードルは劇的に下がりつつあります。

開発チームはオープンソースの音声合成モデル「LongCat Audio Edit」（論文名：LongCat-AudioDiT）を公開しました。わずか数秒のサンプル音声を読み込ませるだけで、その話者の声色や喋り方のニュアンスをそのまま引き継ぎ、新しい文章を読み上げさせることが可能です。

数秒の音声から10秒でクローン生成

公開と同時に誰でも試せる無料のHugging Face Spaceが開設されました。使い方はきわめて直感的です。数秒の音声をアップロードしてその書き起こしテキストを入力し、次に読ませたい文章を指定して生成ボタンを押すだけです。

実際のデモでもその精度は際立っています。オーストラリア訛りの男性英語や感情豊かなインド人女性の音声を渡すと、10秒ほどで滑らかな音声が仕上がります。単に声のトーンを似せるだけでなく、独特のイントネーションや発話のリズムまで自然に再現されます。

今回は用途に合わせて2種類のモデルが用意されました。最高品質を追求したフラッグシップ版は35億パラメータでサイズは約15.3GB。一方、日常的な制作環境を想定した軽量版は約6GBに抑えられており、一般的なコンシューマー向けGPUでもローカル環境で軽快に動作します。

中間表現を排し、波形潜在空間で直接生成

これほどのクオリティを実現できた背景には、構造の根本的な見直しがあります。従来の拡散ベースの音声合成はメルスペクトログラムなどの中間表現を挟むケースが多く、処理ステップが増えるごとにノイズや誤差が蓄積しやすい弱点がありました。

LongCatは波形潜在空間（Waveform Latent Space）上で直接処理を行う非自己回帰型拡散モデルを採用しました。構成を波形変分オートエンコーダ（Wav-VAE）と拡散バックボーンのみに絞り込み、パイプラインを大幅に簡素化しています。さらに分類器フリーガイダンス（CFG）の代わりに適応型投影ガイダンスを導入し、学習と推論のズレを解消しました。

音声クローンのベンチマークである「Seed」テストでは、35億版が既存の最高水準だったSeed-TTSを上回り、中国語評価（Seed-ZH）で話者類似度0.809から0.818へ、難関のSeed-Hardでも0.776から0.797へと記録を更新しました。

なぜ重要か

個人開発者やコンテンツ制作者にとって、プライベートな環境で動かせる高精度音声合成の敷居が一気に下がった意味は大きいです。クラウドサービスのAPI利用料やデータ送信に伴うプライバシーを気にすることなく、6GBクラスの身近なグラフィックボードさえあれば手元で吹き替えや対話エージェントを構築できます。

音声AI業界全体にとっても、パイプラインの簡素化がもたらす性能向上が実証された点は見逃せません。高価な人間によるアノテーションデータに頼らずとも、表現空間とガイダンス手法を適切に設計すれば最先端の商用モデルに匹敵、あるいはそれを超えられることが示されました。

もっとも、数秒の日常音声から誰の声でも容易に再現できるようになったことは、音声偽造やなりすまし犯罪のリスクが一段と高まったことも意味します。オープンな技術革新を歓迎する一方で、合成音声の検出や電子透かしといった防御策の整備が急務となるはずです。