FlashLabs、音声対話モデル「Chroma 1.0」を公開：リアルタイム対話と音声クローンに対応

Chroma 1.0は、FlashLabsがオープンソースとして公開した約4Bパラメータのエンドツーエンドリアルタイム音声対話モデルです。音声認識、テキスト生成、音声合成を別々に組み合わせる従来のパイプラインを排し、音声を直接入出力する設計になっています。

何ができるのか

Chroma 1.0は、マルチモーダル因果言語モデルとして動作します。ユーザーの音声入力を直接解釈し、テキストと合成音声の両方を同時に生成して自然な会話を実現します。

さらに、パーソナライズされた音声クローン機能を標準で備えています。推論時に短い参照音声とそのテキストをプロンプトとして渡すだけで、その声色やニュアンスを模倣した音声で返答を生成できます。

ライセンスは商用利用にも寛容なApache-2.0を採用しており、研究者だけでなく製品開発者も自由に利用可能です。

アーキテクチャと動かし方

モデル構造は実績のあるオープンコンポーネントを組み合わせています。推論コアにはQwen2.5-Omni-3Bを採用し、16層のLlama 3バックボーンと4層のLlama 3デコーダーで構成されています。音声コーデックには24kHzサンプリング対応のMimiを使用しています。

導入の手軽さも特徴です。モデルの重みはHugging Face（FlashLabs/Chroma-4B）で公開されており、Google ColabやKaggleのノートブックも用意されています。

実行環境にはPyTorchとTransformersがあれば十分で、AutoModelForCausalLMとAutoProcessorから読み込み、生成されたトークンを内蔵コーデックでデコードすることで24kHzの音声を再生できます。

なぜ重要か

従来の音声対話システムは、文字起こしや音声合成を挟むため遅延が大きく、話し方の抑揚や感情情報が失われがちでした。4Bクラスの軽量なエンドツーエンドモデルがオープンソースで提供されたことは、個人開発者にとって大きな前進です。

現時点の対応言語は英語のみに限られている点には注意が必要です。しかし、英語圏向けのリアルタイム音声エージェントやバーチャルヒューマンを低コストで試したいエンジニアにとって、今すぐ触る価値のあるツールといえます。