網易有道、リアルタイム音声認識モデル「Confucius4-R2T2」をオープンソース公開

Confucius4-R2T2（通称R2T2）は、網易有道がオープンソースとして公開したリアルタイムストリーミング音声認識（ASR）モデルです。マイクからの音声入力をほぼ遅延なくテキスト化できます。リアルタイム字幕で単語が何度も書き直されて画面がちらつく現象に悩まされていたなら、まさに試す価値のあるツールです。

何ができるのか

R2T2の最大の特徴は、一度確定したテキストを決して書き直さない「追記専用（append-only）」出力モードを採用している点です。従来の擬似ストリーミングモデルは、先行して推測した単語を後から修正することが多く、字幕が跳ねたり後続のLLMエージェントが混乱したりする原因になっていました。

R2T2なら、一度画面に出た文字はそのまま固定されます。平均遅延はわずか200〜600ミリ秒で、デコード単位のチャンクサイズは80ミリ秒から2秒の間で柔軟に調整可能です（推奨値は160ミリ秒）。

また、ストリーミング特化でありながら、音声ファイル全体を一括処理するオフライン認識と比べても精度がほとんど低下しません。

仕組みとベンチマーク性能

R2T2は、アリババのQwen3-ASRをベースに構築されています。網易有道は学習に安定プレフィックスデータや強制アライメントを取り入れ、「最長安定プレフィックス（LSP）」と呼ばれる学習パラダイムを組み合わせました。

つまり、モデル自身が「いま手元にある音声だけで確定出力して安全か、それとももう少し文脈を待つべきか」を動的に判断します。これにより、確定テキストの不変性を保ちながら高精度な推論を維持しています。

英語のWERおよび中国語のCERベンチマークでは、WhisperRTやNemotron、Voxtralといった主要なオープンソースモデルの中で最も低いエラー率と優れた低遅延を記録し、GPT-Live-Transcribeなどの商用システムとも競合できる数値を達成しています。コンテキストプロンプトやホットワード指定にも標準対応しています。

動かし方とハードウェア要件

導入のハードルはかなり低めに抑えられています。モデルサイズは約4GBで、一般的なコンシューマー向けGPUでも余裕を持って動作します。

推論バックエンドには高スループットなvLLMとHugging Face transformersの両方をサポート。公式のDockerイメージを使えば環境構築の手間なく立ち上げられるほか、uvやCondaを用いたPython 3.12環境でのローカルインストールにも対応しています。複数クライアントの接続を想定したWebSocketサーバーのスクリプトも同梱されています。

なぜ重要か

リアルタイム字幕表示や同時通訳、あるいは音声で直接操作するAIエージェントを自前で構築したい開発者にとって、R2T2はすぐに検証してみる価値があります。高額な商用APIに依存することなく、手元のGPUで低遅延かつちらつきのない安定したテキストストリームが得られます。

ストリーミング音声を「後から修正しない確定データ」として扱う設計は、下流のLLM処理をシンプルにする上で非常に賢いアプローチだと評価できます。ただし、詳細な技術レポートの公開はまだ控えており、特殊な専門用語や騒音環境での挙動については各自で検証を重ねる必要があります。