TavusがPhoenix-4.5公開：遅延134ms、上半身全体をリアルタイム生成

AIアバターとビデオ通話をしていて最も違和感を覚えるのは、口元だけが不自然に動き、首から下の体が石のように固まっている瞬間です。

Tavusはリアルタイム人間レンダリングモデルの最新版となるPhoenix-4.5を公開しました。音声入力から映像生成までの遅延を134ミリ秒に抑え、競合モデルより25パーセント高速化しながら、顔だけでなく上半身全体を自然に動かす設計へと刷新しています。

部分合成を捨て、画面全体を一括生成

従来のPhoenix-4では、あらかじめ撮影した体の映像の上に、約512×512ピクセルの顔領域だけを生成して貼り付ける手法を採用していました。この構造は境界線の破綻を招きやすく、体が硬直したままになる最大の原因でした。

Phoenix-4.5ではこのマスク合成を完全に廃止しました。GANベースの生成レンダラーを一から構築し、顔、頭部、首、肩、胴体、衣服、背景までを1回のパスでまとめて丸ごと生成します。

境界線がなくなったことで、表現力は一気に広がりました。発話のリズムに合わせて頭が揺れ、強調したい言葉で姿勢が変わり、肩や胴体が自然に連動します。さらに会話相手の発話中も音声をリアルタイムに聞き取り、うなずきや微細な表情変化を続けるため、発話待ちの間に静止画のようになる現象も解消されました。

社内ベンチマークでは、リップシンク精度が16パーセント向上し、動作の生き生きさを示す指標は1.3倍に跳ね上がっています。

1分でプレビュー生成、長髪や眼鏡にも対応

アバター作成の体験も大きく進化しました。Phoenix-4.5はシリーズで初めてゼロショット生成に対応し、1枚の画像または動画を与えるだけで、約1分で動くプレビューを立ち上げられます。

人間のブラインドテストに基づくEloレーティングでは、この1分のゼロショット版ですら1002を記録し、前世代のファインチューニング済みモデルの929を上回りました。高精度化のためのファインチューニングもバックグラウンドで2時間で完了し、完了後のスコアは1069に達します。

外見の制約も大幅に緩和されました。これまでは肩にかかる長い髪、眼鏡、大ぶりのピアスなどがあると顔領域の切り出しに失敗しがちでした。新アーキテクチャでは、Phoenix-4で学習に失敗していたアバターのうち64パーセントがそのまま正常に学習できるようになっています。

なぜ重要か

私たちは、Phoenix-4.5がリアルタイム対話型AIをギミックから実用インフラへ押し上げる大きな一歩になると見ています。

カスタマーサポート、オンライン接客、語学学習アバターを開発する企業にとって、134ミリ秒という応答速度と上半身の連動は決定的な価値を持ちます。録画動画ならまだしも、リアルタイム通話では数十ミリ秒の遅れや身体の硬直がユーザーの没入感を一瞬で壊してしまうからです。1分で対話プレビューを試せる手軽さは、プロトタイプ検証のコストを劇的に下げるはずです。

業界全体にとっても、顔パッチの貼り合わせという従来の妥協案に終止符を打つ契機になります。全身のフレーム一括生成でも競合より25パーセント速く動かせることを実証したため、競合各社もアーキテクチャの抜本的な刷新を迫られるでしょう。

一方で懸念されるのは実行コストです。フレーム全体をリアルタイムに生成し続ける負荷は、部分合成に比べて確実に重くなります。低遅延を実現した裏で、大量の同時接続セッションをどれほど現実的な単価で提供し続けられるかが、普及への真の試練になりそうです。