Mistralが「Voxtral TTS」公開：4B軽量音声モデル、遅延70msを実現

Voxtral TTSは、Mistral AIが公開した4Bパラメータのテキスト読み上げ（TTS）モデルです。低遅延なリアルタイム音声エージェントに、表現力豊かな声を与えるために作られました。

最大の特徴は、軽量さと応答速度の速さです。典型的な入力であればわずか70msの遅延で音声を生成でき、最短3秒のリファレンス音声から高精度な声のクローンを作成できます。

何ができるのか

Voxtral TTSは、英語、フランス語、ドイツ語、スペイン語、オランダ語、ポルトガル語、イタリア語、ヒンディー語、アラビア語の9言語に対応しています。

単に文章を読み上げるだけでなく、文脈に応じたニュアンスを理解するのが強みです。楽しそうなトーンや皮肉、自然な間や抑揚、言い淀みまで捉えて再現します。

ゼロショットの言語横断ボイスクローンにも対応しています。たとえばフランス語話者の短い音声を渡し、英語のテキストを読ませると、自然なフランス語訛りの英語音声を生成できます。

一度に生成できる音声は最大2分間ですが、API経由であれば長い文章も途切れなく合成できます。

仕組みと性能

Voxtral TTSは、同社の「Ministral 3B」をベースにした自己回帰型フローマッチング構造を採用しています。

全体は、3.4BのTransformerデコーダ骨格、390Mの音響フローマッチングTransformer、そして300Mの自社製ニューラルオーディオコーデックの3層で構成されています。

10秒の音声サンプルと500文字のテキストという標準的な入力において、モデルの遅延は70ms、リアルタイムファクター（RTF）は約9.7倍を達成しています。

母国語話者によるブラインド評価では、ゼロショットのクローン環境においてElevenLabs Flash v2.5を自然さや類似度で上回り、ElevenLabs v3と同等の品質を記録しました。

試し方と公開範囲

手元で動かしたい開発者向けに、モデルの重みとサンプル音声がHugging Face上でCC BY-NC 4.0ライセンスとして公開されています。

環境構築なしですぐ試したい場合は、Mistral StudioのプレイグラウンドやLe Chat上でマイク録音してテストできます。

商用システム向けの公式APIもすでに提供が始まっており、価格は1,000文字あたり0.016ドルです。

なぜ重要か

対話型音声エージェントを作っている開発者なら、今すぐ試す価値があります。これまで高精度な音声合成といえば高価なプロプライエタリAPIに頼らざるを得ず、遅延とコストが大きな壁になっていました。

Voxtral TTSは、わずか4BのサイズでElevenLabsの上位モデルに匹敵する品質と70msの高速応答を両立させています。

注意点として、公開された重みは非商用ライセンス（CC BY-NC 4.0）となっています。商用サービスの本番環境で使うなら、公式APIを使うか商用ライセンスの検討が必要です。