Tavus、対話型動画向けAIモデル3種を公開　表情・視覚・対話の「間」を改善

ビデオ通話で相手がAIだと分かって冷めてしまう瞬間は、画質の粗さではなく、言葉を返してくるまでの気まずい沈黙や、話者の意図を無視した間の悪さにあります。

対話型ビデオインターフェースを手がける米Tavusは3月6日、この対話の違和感を解消するための3つの新しいAIモデル「Phoenix-3」「Raven-0」「Sparrow-0」を発表し、同日よりAPI経由で一般公開しました。

同社は人間同士の自然な対話を再現するために、表情、視覚認知、会話の間合いという3つの要素を個別のモデルに分担させました。

表情、視覚、会話の間を分担する3つのモデル

Phoenix-3は、顔全体の微細な表情変化と精密なリップシンクを担当するアニメーションモデルです。話者の元々の容貌を保ちながら、会話の文脈に合わせた感情表現を途切れなく生成します。

Raven-0は、エージェントにリアルタイムの視覚認知能力を与えるモデルです。画面越しのテキストを読み取ったり、身振り手振りを認識したり、相手の感情を推測したりして、視覚的な情報に即座に反応します。

そして会話のテンポを劇的に改善するのがSparrow-0です。自然な発話リズムや文脈を理解し、相手が話し終えたのか、単に言葉を区切っただけなのかを判断します。会話の交代精度を示す平均絶対誤差は0.3989を記録し、従来の最高水準だった1.7467を大きく塗り替えました。

これら3つのモデルは、Tavusのシステム内で思考連鎖として連動します。デモとして公開されたAIエージェント「Charlie」は、自然に対話しながらWeb検索を行い、ユーザーの共有画面を分析し、リアルタイムで画像を生成する様子を披露しました。

なぜ重要か

オンライン営業やカスタマーサポート、教育指導向けにビデオ対話エージェントを構築したい開発者にとって、即座に試す価値のあるAPIです。これまでは発話の遅延や表情の硬さが原因で、実務投入が難しい場面が目立ちました。

Tavusのアプローチは極めて実用的だと考えられます。多くの企業が高画質な動画生成のリアリズムばかりを競う中、同社は会話の自然さを左右する微表情、視覚入力、そして話者交代のタイミングという構造的な課題に焦点を当てています。

ただし、視覚認識とリアルタイム生成を組み合わせる以上、インフラ負荷とレイテンシの管理が今後の課題になるはずです。Tavusはデジタルヒューマンがスマートフォン並みに普及すると見込んでいますが、APIコストに見合うだけのビジネス成果を出せる用途を見極める必要があります。