TavusがPhoenix-4を発表、感情制御が可能なリアルタイムAIアバター

従来のリアルタイムAIアバターと話したことがある人なら、特有の違和感を覚えたことがあるはずです。唇の動きは声と合っていても、視線はどこか虚ろで、深刻な相談をしている最中にも関わらず顔に不気味な笑顔が張り付いたまま、というケースが少なくありませんでした。

サンフランシスコを拠点とするTavusは2月18日、感情制御機能を備えたリアルタイム人間レンダリングモデル「Phoenix-4」を発表しました。同社はこれを単なるリップシンクツールではなく、文脈に応じた表情や相槌を再現する「振る舞い生成エンジン」と位置づけています。

ループ動画を廃止し、頭部から肩まで全ピクセルをリアルタイム生成

現在のリアルタイムアバターの多くは、録画済みの短い動画ループを再生しながら口元周辺だけをAIで上書きする簡易的な手法を採用しています。そのため、相手の話を聞いている間はあらかじめ決められた映像が流れるだけで、まばたきや相槌のタイミングが会話と噛み合わない問題がありました。

Phoenix-4はこの仕組みを刷新しました。聞く動作と話す動作を同時に処理するフルデュプレックス設計となっており、1080pの解像度かつ40fpsで、頭部から肩、微細なまばたきに至るすべてのピクセルをリアルタイムに生成します。

技術面では、数千時間の対話データで学習したガウスと拡散モデルのハイブリッド構造（hybrid Gaussian-diffusion）を採用しています。音声からリズムだけでなく文脈の意味を抽出し、長期記憶モジュールと拡散ヘッドを経てモーション係数を算出、3Dガウシアンスプラッティングによって遅延なくレンダリングします。あらかじめ固定された表情パラメータを使わないため、ロボットのようなぎこちなさのない滑らかな微表情が可能になりました。

プロンプトから10種類以上の感情を制御可能

最大の進化は、話している最中だけでなく「聞いている時」の感情まで明示的に制御できる点です。

喜び、悲しみ、怒り、驚き、嫌悪、恐怖、興奮、好奇心、満足感など10種類以上の感情状態をスムーズに行き来できます。開発者はLLMやプロンプトを通じてアバターの表情のトーンを直接指定できるほか、文脈に合わせてモデルに自動で判断させることも可能です。

Phoenix-4は現在、TavusのプラットフォームやAPIを通じて提供が始まっており、40種類以上の新しいプリセットキャラクターも追加されています。

なぜ重要か

私たちは、Phoenix-4がアバター技術の競争軸を「画像の解像度」から「振る舞いのリアリティ」へと決定的にシフトさせたと考えています。

開発者や企業にとっての最大の価値は、感情の通い合いが必要な領域への実用化です。従来の張り付いた笑顔のアバターは簡単な案内係には使えても、心理カウンセリングや医療面談、採用面接といった繊細なコミュニケーションでは不信感を生む原因になっていました。プロンプトから相槌や感情表現を細かくコントロールできるようになったことで、人間らしい共感を伴う対話システムの構築が現実味を帯びてきます。

一方で、1080p・40fpsで全ピクセルをリアルタイム生成し続ける仕組みは、計算リソースや通信帯域への要求が大きくなる懸念があります。さらに、自然な相槌や微表情まで完全に再現されたリアルタイムのデジタルヒューマンが登場したことで、ディープフェイクやビデオ通話詐欺を見抜く難易度が一段と上がった点も見過ごせません。