Tencent、全二重音声対話モデル「Covo-Audio」をオープンソース公開

Tencentは、7Bパラメータの端対端音声言語モデル「Covo-Audio-Chat」をオープンソース公開しました。音声認識、テキスト生成、音声合成を別々に繋ぐ従来の多段構成ではなく、単一の統合アーキテクチャで連続音声を直接入力し、音声を直接生成します。

コードとモデルの重みはGitHubとHugging Faceで提供されており、話しながら同時に聞き取り、途中で自然に割り込めるネイティブな低遅延全二重対話に対応しています。

何ができるのか

多くのAI音声アシスタントはトランシーバーのように、ユーザーが話し終えるのを待ってから処理を開始します。

Covo-Audio-Chatはネイティブな全二重対話を実現しており、ユーザーが相槌を打ったり発言を遮ったりしても、リアルタイムにやり取りを継続できます。

これを支えているのが、階層的な三層モーダルインターリーブ構造です。連続音響特徴、離散音声トークン、自然言語テキストを同一のシーケンス内で統合処理することで、抑揚やニュアンスを維持しながら高度な言語理解を両立させています。

さらに、話者特性と対話ロジックを切り離すデカップリング技術も採用されました。音色の違いに対話能力が引きずられないようマルチ話者学習を行い、高品質な音声を状況に応じて柔軟に移植できます。

テクニカルレポートによると、同規模の7Bモデルと比較して、音声対話、音声理解、全二重対話などのタスクでSOTAまたは競争力のある水準を達成しています。

動かし方

環境構築にはPython 3.11以上が推奨されています。

TencentのGitHubリポジトリからコードを取得し、依存関係をインストールした上で、Hugging Faceの「tencent/Covo-Audio-Chat」から重みファイルをローカルに配置します。

実行用のシェルスクリプト example.sh が用意されており、スクリプト内のモデルパスとテスト用音声ファイルを指定するだけで、すぐに推論を試すことができます。

なお、公開されているモデルは研究および実験用途を想定しています。実運用に組み込む際は、誤情報の発生や出力精度の検証が必要です。

なぜ重要か

音声対話の理想形とされる端対端の全二重モデルは、これまで大半が独自開発の非公開環境に留まっていました。Tencentが7Bという扱いやすいサイズでオープンソース化したことは、リアルタイム音声対話アプリやスマートデバイスを開発するエンジニアにとって大きな足がかりになります。

7B規模であれば過剰な計算資源を用意せずとも検証が可能です。一方で、騒音下での割り込み判定や実対話における安定性は運用環境によって大きく左右されるため、まずは手元の実データで打鍵感を確かめてみるのが賢明です。