Fish AudioがDrama 3を公開：1つの文章で最大16役を演じ分け

Fish Audioは、複数キャラクターの演じ分けや長文コンテンツの生成に特化した次世代オープンソース音声合成モデル「Drama 3」を公開しました。

従来のオープンソース音声モデルは数Bクラスが主流で、単独の朗読に向いたものが大半でした。Drama 3の最大の特徴は、1つのテキストの中で話者タグを切り替えることで、最大16人の異なる声質を同時に操れる点です。ラジオドラマや対話形式の番組、小説の朗読などに威力を発揮します。

何ができるか

Drama 3は複数人の演じ分けだけでなく、テキスト内に埋め込むタグによって感情やニュアンスを細かく指示できます。

文章の途中に溜め息や笑い声といった演出指示を直接書き込むだけで、機械的ではない人間らしい抑揚で発話させることが可能です。短い参考音声を渡すだけでその声を真似る声質クローンにも対応しています。

制作現場で特に便利なのが、文章を直すような感覚で行える部分修正機能です。読み間違いがあっても全体を再生成する必要はなく、過去の生成トークンを渡して変更箇所だけを修正すれば、前後の声のトーンを保ったまま自然に繋ぎ合わせてくれます。

長文の場合は自動でチャンク分割され、ストリーミング生成で順次再生されるため、待ち時間を大幅に減らせます。

仕組みと動作要件

Drama 3のテキスト骨幹は35BパラメータのMoE構造ですが、1トークンあたりに実際に稼働するパラメータは3Bに抑えられています。MoEのエキスパート層にはFP8が採用され、残りはbf16で構成されています。

総パラメータは350億と巨大ですが、アクティブが3Bにとどまるため、ユーザーの間では8GBのVRAMを積んだローカル環境でも動作したと報告されています。

サービング向けには、SGLang-OmniとvLLM-Omniに初日から対応しています。NVIDIA H200を1基使ったテストでは、単一ストリーム時の最初の音声出力までの時間が100ミリ秒未満を記録しました。16並行でも実再生の約2.7倍の速度で生成でき、64並行時でもリアルタイムファクターは平均0.8程度を維持します。

さらに負荷が高まる場面では、ボコーダーを2枚目のGPUに分離することで、256ストリーム時のスループットを約72%向上させ、待機時間を大幅に短縮できます。

モデルは現在Hugging FaceでFish Audio Community Licenseのもと公開されており、Artificial Analysisのオープンモデルランキングで首位を獲得しています。

なぜ重要か

オーディオドラマやゲーム音声を手がけるクリエイターにとって、キャラごとの声の切り替えと、一文字の修正のために全部作り直す手間は長年の課題でした。Drama 3はその両方を解決しています。

35Bの規模で文脈を掴みつつ、3Bのアクティブで動かすMoEの設計は非常に合理的です。一般ユーザーのGPUでも動く可能性を残しながらスタジオ品質の音声が作れるため、音声コンテンツを自動化したいなら試す価値が十分にあります。