dots.tts：小紅書が2B音声合成モデルを公開、音声クローンに対応

dots.tts は、中国の小紅書（Rednote）がオープンソースとして公開した20億パラメータ規模のエンドツーエンド音声合成システムです。高精度なゼロショット音声クローンや、音声の精密な編集に対応しています。

短い参照音声を与えるだけで、話者の音色やニュアンスを高精度に引き継ぎながら自然な音声を読み上げさせることができます。

離散トークンを使わない完全連続アーキテクチャ

近年の音声生成AIの多くは音声を離散トークンに変換し、テキストと同じように次のトークンを予測する構成をとっています。しかし dots.tts はパイプライン全体で離散トークンを一切使いません。

バックボーンはセマンティックエンコーダ、大規模言語モデル、そして48kHz AudioVAE上で動作する自己回帰型フロー・マッチング音響ヘッドで構成される完全連続型の自己回帰システムです。

離散化による情報劣化を避けることで、微細な声の質感や音響的な連続性を維持し、機械的な不自然さを大幅に減らしています。

ベンチマークスコアと推論速度

標準的な Seed-TTS-Eval ベンチマークにおいて、dots.tts はオープンソースモデルとして最高水準の平均スコアを記録しました。単語誤り率は中国語で0.94%、英語で1.30%、難関中国語セットで6.60%に抑えられ、話者類似度スコアもそれぞれ81.0、77.1、79.5に達しています。

さらに MiniMax の24言語ベンチマークでも平均話者類似度83.9を記録しました。また、テキスト、感情、韻律の局所的修正に特化した派生モデル dots.tts.edit も提供されています。

推論効率も実用的です。最適化を施した dots.tts-mf のリアルタイムファクター中央値は0.13から0.15、テキストのみの初回チャンク遅延は68ミリ秒、音声クローン時でも204ミリ秒に達します。SGLang Omni と組み合わせることで、H100 1枚・並行度16の環境下で毎秒19.86秒分の音声を処理可能です。

導入と動かし方

コードとモデル重みは Apache-2.0 ライセンスで公開されており、商用利用を含めて自由に利用できます。動作環境は Python 3.10 から 3.12 が推奨されています。

PyPI経由で pip install dots.tts を実行するか、GitHubからリポジトリを直接クローンして導入できます。ベースモデルのほか、SOAR や蒸留モデルの MeanFlow チェックポイントが選べます。

CLIツールが付属しており、参照音声とテキストを用いた高精度クローン生成や、音声のみから特徴を抽出するクローン生成がコマンド1行で実行可能です。

なぜ重要か

ポッドキャスト制作、ゲームのキャラクターボイス、音声対話エージェントなどを内製化したい開発者にとって、dots.tts は現時点で最有力なオープンモデルの一つです。20億パラメータという手頃なサイズ感と Apache-2.0 の組み合わせにより、自社環境への組み込みやファインチューニングが容易に行えます。

商用APIに匹敵する類似度と低遅延ストリーミング性能が手元で動かせる意義は大きく、高品質なローカル音声基盤を必要としているなら試す価値が十分にあります。