わずか1.7GBの超小型音声合成「Audio8TS」、数秒の音声でローカル声クローン

Audio8TS は、全体サイズがわずか 1.7GB に収まる超軽量テキスト音声合成モデルだ。手元の一般的な PC 上で、数秒の音声サンプルからゼロショット音声クローンをローカル実行できる。

最近の音声クローンモデルは数十億パラメータ規模のものが多く、大容量のファイルと高価な GPU が必須になりがちだった。しかし Audio8TS の主生成モデルは約 1.7 億パラメータで、付属のコーデックデコーダを含めても 0.1B 規模にとどまる。全ファイルをダウンロードしても 1.7GB しかない。

何ができるのか

主な用途は数秒のリファレンス音声を使ったゼロショット音声クローンだ。短い参照音声とその書き起こしテキストを用意するだけで、モデルが声質を抽出し、任意の新しい文章をその声で読み上げてくれる。

主要言語としては中国語と英語に対応しており、自然な発音と高い声質再現度を備えている。さらにドイツ語、スペイン語、フランス語、イタリア語、日本語、韓国語の多言語評価も実験的にサポートする。

超小型サイズでありながら、エラー率や話者類似度のベンチマークでも堅実な数値を記録している。数 GB を超える重量級モデルと比べても、日常的な読み上げ用途なら実用レベルに達している印象だ。

どのように動作するのか

Audio8TS の内部は、低速ブランチと高速ブランチに分かれた自己回帰アーキテクチャを採用している。低速側で意味トークンを予測し、高速側がそれをもとにコーデックのコードブックを予測して、ニューラル音声コーデックが波形へと変換する。

ハードウェアの要求水準が極めて低い点も大きな強みだ。通常の CUDA GPU 向け PyTorch 推論コードに加えて、CPU 環境専用に最適化された ONNX INT8 版も用意されている。

ONNX 版では自己回帰部分が INT8 に量子化され、コーデックは FP16 で動作する。音声登録時に不要なセッションメモリを解放する設計になっており、普通のノート PC でもメモリ圧迫を起こしにくい。

コード、モデル重み、トークナイザ、コーデックはすべて Hugging Face（Audio8/Audio8-TTS-Preview-0.1b）で公開されている。動作には Python 3.11 以降と PyTorch、Transformers が必要だ。

なぜ重要か

ローカル環境で動く読み上げツールを求めている開発者や、手持ちのノート PC だけで声のクローンを試したいユーザーにとって、Audio8TS はすぐに試す価値がある選択肢だ。

パラメータ数を無制限に膨らませるのではなく、0.1B 規模で十分実用的な音声クローンを実現してみせた割り切りは非常に見事だと感じる。プライバシーを重視するローカルファーストな音声アシスタント開発に向けて、実用的な土台を提示している。