Fish Audioが音声合成モデル「S2」公開、テキスト内タグで単語単位の感情制御に対応

AI 音声のニュアンス調整といえば、全体にテンションのパラメーターをかけるか、面倒な SSML タグと格闘するのが相場でした。一箇所だけため息をつかせたいのに、台本全体が不自然にハイテンションになってしまう経験をした人も多いはずです。

Fish Audio は次世代のオープンソース音声合成モデル「Fish Audio S2」を公開しました。そのアプローチは極めて明快で、声優に台本を渡して演技指導するように、テキスト内に自然な言葉で指示を書き込める設計になっています。

台本の中にそのまま演技指導を書き込む

S2 の最大の特徴は、テキスト内の任意の位置に挟み込める自然言語のインラインタグです。角括弧を使って「[囁き声で] 誰にも聞かせないで」や「もう一度やり直そう [ため息をついて]」のように書くだけで、モデルがその通りの抑揚で読み上げます。

制御は単語単位で行われます。タグを置いた直後の単語からトーンが切り替わり、次のタグや文末までその演技が持続します。文頭に置けば文全体に、文の途中に置けば特定のフレーズだけに効果を反映できるため、絶妙な間や感情の揺らぎを直感的に演出できます。

決まった構文を丸暗記する必要もありません。S2 は約 80 言語、1000 万時間を超える音声データで学習されており、15000 種類以上の自然言語表現を認識します。日本語の「[ため息をついて]」や英語の「[whispering]」はもちろん、「[何千回も同じことを繰り返してきたような冷静な口調で]」といった複雑なシチュエーション指示にも応えようとします。

100ms の低遅延とフルオープン公開

表現力だけでなく、生成基盤としての基本性能も大幅に引き上げられました。S2 のリアルタイム係数（RTF）は 0.195、最初の音声パケットが返ってくるまでの遅延はわずか 100ms です。リアルタイム対話でも会話のテンポを崩しません。

さらに長文の読み上げに対応し、1 回の音声生成リクエストの中に複数の話者を混在させることも可能です。プロ仕様の声質クローン機能と組み合わせれば、複数キャラクターの掛け合いドラマも外部ツールでの切り貼りなしで作成できます。

提供形態もオープンです。モデルのウェイト、微調整コード、推論スタックが GitHub と Hugging Face で完全公開されており、公式の API やウェブアプリからも即座に試すことができます。

なぜ重要か

ゲーム制作者やオーディオブックのクリエイターにとって、S2 は音声制作のワークフローを根底から変える可能性を秘めています。これまで専門知識が必要だった細かな演技指導が、シナリオのト書き感覚で完結するため、編集にかかるコストと時間が大幅に削られます。

初回 100ms という低遅延と多言語タグの組み合わせは、リアルタイム対話 AI エージェントの表現力も一段引き上げるはずです。ただ正確に話すだけでなく、文脈に合わせて相槌を打ったり、小さな笑い声を挟んだりできるエージェントが、オープンソースの手元環境で作れるようになります。

独自の SSML や複雑なスライダー調整を強いてきた既存の商用 TTS に対しても、自然言語で直感的に指示できる S2 の UX は強力な対抗軸になるでしょう。あとは、長文生成時や極端に抽象的なプロンプトを指定した際に、意図したニュアンスがどれだけ安定して出力されるか、実際の開発現場での検証が待たれます。