NVIDIAが音声AI「PersonaPlex」発表：割り込み対話に対応、声と役割を自在に設定

NVIDIAがオープンソースとして公開した「PersonaPlex」は、エンドツーエンドの全二重音声対話モデルだ。相手の話を聞きながら同時に声を発し、途中で遮られれば即座に話を止め、相づちを打ちながら自由な声質と役割で会話を続けられる。

従来の音声対話システムには頭の痛い二者択一があった。音声認識、大規模言語モデル、音声合成を数珠つなぎにした従来構成は声や役割の自由度が高いものの、応答が遅く割り込み対話ができなかった。一方、Moshiなどの全二重モデルは自然な掛け合いを可能にしたが、固定された単一の声と役割に縛られていた。

PersonaPlexで何ができるか

PersonaPlexはこの壁を打ち破った。音声のストリーミング理解と生成を担うデュアルストリーム構成を採用し、テキストの設定プロンプトと短い参照音声を与えるだけで、任意のペルソナと音声を維持したままリアルタイムに対話できる。

デモでは、特定のアクセントと共感を示しながら本人確認を行う銀行窓口業務や、患者の病歴やアレルギーを正確に聞き取る医療クリニックの受付業務をこなしている。

日常会話の枠を超えたシナリオにも適応する。火星探査船で原子炉メルトダウンに直面した宇宙飛行士Alexとして振る舞うテストでは、切迫感と恐怖を帯びた声のトーンを保ちながら助けを求めて対話を続けた。

さらに自然な相づち機能も備える。FullDuplexBenchによる評価では、「uh-huh」や「yeah」といった文脈に応じた短い相づちを適切なタイミングで挟み、相手の発話を妨げずに傾聴の姿勢を示す。

従来のトレードオフをどう解消したか

PersonaPlexは複数モデルを連結する処理を排し、単一モデルによるSpeech-to-Speech処理を実現している。ユーザーの発話中に内部状態を更新し、極めて低い遅延で音声をストリーミング生成する。

モデルの振る舞いは2つの入力で決まる。音響的な特徴、アクセント、抑揚を捉える参照音声のオーディオ埋め込みと、役割や振る舞いを指定するテキストプロンプトだ。

この構造によって、話す内容だけでなく、いつ一時停止し、いつ相づちを打ち、いつ発話権を譲るかといった非言語的な対話作法をモデル自身が学習している。

なぜ重要か

私たちは、人間らしい会話のリズムと柔軟なカスタマイズ性を両立させた点が極めて実用的だと見ている。24時間対応の金融相談、テクニカルサポート、仮想コンパニオンを開発する人にとって、遅延とキャラクター性のどちらかを諦める必要がなくなった。

全二重音声モデルが固定音声の縛りから解放されたことで、従来の数珠つなぎ型ボイスボットからの移行が一気に加速する可能性がある。ビジネスロジックの厳密な制御にはまだ検証が必要だが、次世代の音声対話を作りたいなら今すぐ検証する価値がある。