Meta、音声モデル「Muse Voice Transcribe」発表　20人以上の話者分離に対応

多国籍チームのオンライン会議で、複数人が同時に喋り、さらに英語と母国語が混ざり合うと、既存のリアルタイム文字起こしツールは途端に破綻します。

Metaの先端研究部門であるMeta Superintelligence Labsは9月1日、同組織初となるリアルタイム音声認識モデル「Muse Voice Transcribe」を発表しました。

自己回帰型モデル「Muse Spark」ファミリーを基盤としており、9月1日時点でArtificial Analysisのストリーミング音声テキスト化および話者分離の公開ベンチマークで首位を獲得しています。

人間のように「考えながら聴く」設計

Muse Voice Transcribeは、音声を80ミリ秒ごとのチャンクに分割し、1つのソフトトークンとして処理します。

モデル自身が次の音声チャンクを聴くか、テキストトークンを出力するかを自律的に判断する仕組みです。

速度と精度のバランスを取るため、強化学習を用いた「適応型遅延」を導入しました。認識しやすい単語は即座に出力し、難しい文脈では少し待ってから書き起こします。

さらに、特殊トークンを活用することで、話者分離と発話区間検出も同一モデル内で完結させました。20人以上の話者を正確に判別可能です。

言語面では70以上の言語で学習され、そのうち25言語で詳細な検証が行われています。文の途中での自然なコードスイッチング（言語の切り替え）にもネイティブ対応しています。

1時間を超える長尺音声も、前後の分割処理なしでそのまま処理可能です。現在はMeta Model APIのほか、Mac版Meta AI（Fnキー長押しで呼び出し可能）やMuse Codeを通じて提供されています。

なぜ重要か

私たちは、音声認識、話者分離、発話終了判定を別々のパイプラインに分けず、単一の自己回帰モデルに統合した点を高く評価しています。

従来の音声エージェント開発では、音声活動検出（VAD）や文字起こし、話者識別のツールを数珠つなぎにする必要があり、各段階で遅延とエラーが蓄積していました。

Metaが強化学習による適応型遅延を用いてこれを1つにまとめたことで、開発者は大幅にシンプルな構成で高品質な音声認識を組み込めるようになります。

20人以上の話者分離と文章内での自然な多言語切り替えに対応したことは、グローバルな遠隔ミーティングの自動議事録作成において実用性を大きく引き上げるはずです。

一方で、80ミリ秒単位で自己回帰推論を回し続けるアーキテクチャは、クラウドでの運用コストが高くつく懸念があります。今後オンデバイス環境へどこまで軽量化できるかが普及の鍵になりそうです。