音声合成モデル「Audio8-TTS-Realistic」公開：6億パラメータで23言語の音声クローンに対応

Audio8-TTS-Realistic は、わずか数秒のリファレンス音声とテキストを用意するだけで、その声質を再現して発話させられるオープンソースの音声合成モデルです。

開発元の Edge0 が Apache 2.0 ライセンスで公開しており、商用利用も可能です。モデルサイズはメインパラメータが約 6 億（601M）、ファイル容量は 2.6GB に抑えられています。前バージョンから 12 言語追加され、合計 23 言語に対応します。

仕組みと生成スピード

アーキテクチャにはデュアル自己回帰（DualAR）設計を採用しています。低速ブランチは Qwen2.5 0.5B をベースにしており、テキストと最初の音声コードブックを予測します。

続く 4 層の軽量な高速ブランチが、残る 9 つのコードブックを一括で並列予測します。これにより逐次処理をフレーム単位に留め、高速な生成を実現しています。44.1kHz のニューラルコーデックが付属しており、リファレンス音声なしの単独テキスト読み上げも可能です。

また、人間の自然なリズムを再現するため、人間の肉声との比較で学習させたリアリズム判別器を用い、GRPO 強化学習で間の取り方や話速を細かくチューニングしています。

精度と動作環境

9 言語を対象とした CV3 ベンチマークでは平均エラー率 4.86% を記録し、1.7B パラメータの Qwen3-TTS（7.73%）や VoxCPM2（5.35%）を上回りました。

ただし 4B クラスの Higgs TTS 3 などには及ばず、低リソース言語であるタイ語（エラー率 48.57%）や広東語（エラー率 31.35%）では発話の乱れが目立ちます。

ハードウェア要件は極めて軽量です。民生用 GPU の BF16 で快適に動作するほか、論文の計測では Apple M2 チップ（INT4 ONNX）でのピークメモリが約 1.1〜1.2 GiB に収まっています。

試す場合は、Hugging Face 上で ZeroGPU を使った無料デモが稼働しています。ローカル環境では PyTorch 2.5+ と Transformers 4.57+ が必要で、OpenAI 互換 API を提供する SGLang Omni アダプタも用意されています。

なぜ重要か

個人開発者やコストを抑えたいチームにとって、Audio8-TTS-Realistic は非常に魅力的な選択肢です。実用的なゼロショット音声クローンはこれまで 2B〜4B 規模の重量級モデルが主流でしたが、わずか 6 億パラメータで商用利用可能な水準に到達しました。

パラメータの力押しではなく、人間らしいリズムの強化学習に注力したアプローチは極めて合理的です。マイナー言語での精度にはまだ注意が必要ですが、手元の軽量環境で音声対話アプリを組みたいなら、今すぐ試す価値があります。