Tavusが「Raven-1」発表：声のトーンや表情から真の意図をリアルタイム把握

「大丈夫だよ」と言いながら視線をそらしたとき、生身の人間なら無理をしていると直感します。しかし従来のAIにその音声を渡すと、文字起こしされたテキストだけが送られ、声の震えも表情の硬さもすべて削ぎ落とされてしまいます。

Tavusが公開したリアルタイム・マルチモーダル認識システム「Raven-1」は、まさにこのギャップを埋めるために作られました。発言内容だけでなく、声のトーン、表情、わずかな言い淀み、身振りなどの文脈をリアルタイムに統合し、AIに「言葉」ではなく「人の意図」を理解させる試みです。

単純な感情ラベル付けからの脱却

従来の音声AIがどこかぎこちないのは、入力情報が極端に間引きされているからです。音声をテキスト化する段階で、皮肉交じりのトーン、ささやき、考え込むような沈黙といった重要なニュアンスは失われます。

これまでの感情認識AIも、ユーザーの状態を「喜」「怒」「哀」といった固定カテゴリーに無理やり当てはめるものが主流でした。しかし現実の人間は、苛立ちながらも希望を抱いていたり、愛想笑いを浮かべながら内心うんざりしていたりと、複雑なグラデーションの中で会話をしています。

Tavusは以前、身体の傾きや手の動きを捉えるRaven-0を開発していましたが、今回のRaven-1では音声と映像、そして時間の経過をひとつの認識空間として統合しました。

LLMがそのまま読める自然言語で伝える

Raven-1のユニークな点は、解析結果を数値スコアや感情タグではなく、自然言語の文章として出力する点にあります。

システムは発話ごとに「話者は皮肉と苛立ちを滲ませながら空元気を見せている」あるいは「ユーザーは画面から目をそらし、短い返答で退屈そうにしている」といった具体的な解説文を生成します。これを下流の大規模言語モデルにそのまま渡すことで、翻訳層を挟まずに、文脈に合わせた返答を生成させることができます。

速度面でも、音声のみの認識なら100ミリ秒未満、映像を組み合わせたパイプライン全体でも300ミリ秒以内の鮮度を保ちます。1回の発言の中で感情が変化する様子も文単位で追跡可能です。さらにOpenAI互換のツール呼び出しにも対応しており、ユーザーの笑い声や視線の外れをイベントとして検知できます。Tavusは同時に感情表現が可能なリアルタイム描画モデル「Phoenix-4」の提供も開始し、開発者向けAPIを展開しています。

なぜ重要か

AIコンパニオン、接客アバター、面談コーチングなどを開発しているチームにとって、Raven-1はすぐにでも試す価値がある技術です。これまでテキスト情報だけで無理やり共感的な会話を作ろうとしていた苦労が、プロンプトにユーザーの状況描写をそのまま差し込むだけで大幅に解消されます。

業界全体から見ると、対話型AIの競争軸が「生成の見た目」から「入力の認識精度」へとシフトし始めたことを示しています。これまで業界は、リアルな声で喋らせたり高精細な顔を動かしたりする出力側のリッチ化に注力してきましたが、受け取る情報がテキストだけでは本質的な会話のキャッチボールは成立しませんでした。

感情を記号分類せず、LLMが得意とする自然言語のディスクリプションに変換して渡すアプローチは非常に合理的だと考えられます。一方で、カメラとマイクを常時解析し続けることに対するユーザーの心理的抵抗や、ネットワーク遅延によって300ミリ秒の壁を超えた際に、AIの反応がチグハグになって生じる不気味の谷現象は、実運用における小さくない課題になりそうです。