アリババ、対話型動画モデル「Wan Streamer」公開：200ms低遅延で双方向通話

AIとの対話で最も人間らしさを損なう原因は、発言後の不自然な「間」です。これまでの対話型アバターは、こちらが話し終えてから数秒フリーズし、ようやく音声と微妙にズレた口パクを始めるのが通例でした。

アリババは6月24日、このタイムラグを極限まで削ぎ落としたリアルタイム対話型基盤モデル「Wan Streamer」を発表しました。AIが人間の姿をリアルタイムで見つめ、声を聞き、映像と音声で即座に相づちを打つ全二重通信を実現しています。

継ぎ接ぎの仕組みを捨て、単一モデルで統合

従来のビデオエージェントは、音声認識（ASR）、言語モデル（LLM）、音声合成（TTS）、映像描画モジュールを数珠つなぎにした構成が主流でした。この手法では各工程の境界ごとにレイテンシが蓄積し、音声と表情の同期ズレや応答の遅れが避けられません。

Wan Streamerはこのパイプラインを根本から刷新しました。単一のTransformer内でテキスト、音声、映像の入力および出力トークンを混在させて直接処理する設計を採用しています。因果的アテンション機構によって、これらすべてを同時にストリーミング生成します。

25fps動作時のストリーミング単位は最短160ミリ秒に達し、モデル側の応答遅延は約200ミリ秒まで圧縮されました。往復のネットワーク遅延を約350ミリ秒と仮定しても、全体の対話遅延は約550ミリ秒にとどまり、1秒を大きく下回る快適なレスポンスを叩き出します。

さらに重要なのが全二重通信です。相手が話し終えるのを待ってから処理を始めるのではなく、AI自身が話しながら同時にユーザーの映像や音声を認識し続けます。つまり、会話の途中で遮ったり身振りで合図したりしても即座に反応できます。

自然な仕草を見せる一方、現段階は192pのPoC

公開された未編集のデモ映像では、謎解きや雑談に応じるエージェントが、手を振ったり髪をかき上げたりといった日常的で自然なしぐさを見せています。

ただし、今すぐ自由に試せるオンライン環境があるわけではありません。今回のv0.1はあくまでアーキテクチャの成立を証明する概念実証（PoC）の位置づけで、映像解像度は192pと粗い状態です。公開情報も録画デモにとどまっています。開発チームは、まず低解像度で端から端までのストリーミングを成立させ、解像度の向上は今後の課題としています。

なぜ重要か

一般ユーザーにとって、192pの低解像度モデルをそのまま日常的なアシスタントとして使うのは現実的ではありません。しかし、音声のみのモードから「目を見てリアルタイムに会話するAI」への進化が秒読み段階に入ったことを示しています。

業界全体にとって、今回の成果はモジュール組み合わせ型のデジタルヒューマン事業に対する大きな揺さぶりです。音声認識、対話生成、3Dアニメーションを個別に繋ぎ合わせていた既存の手法は、単一のマルチモーダルモデルによる低遅延生成が普及すれば一気に過去のものになる可能性があります。

アリババがパイプラインの継ぎ接ぎを排し、完全な端倒端ストリーミングに踏み切った判断は極めて合理的です。一方で、25fpsの映像をリアルタイムで生成し続ける計算コストは並大抵ではありません。今後解像度を実用レベルのHD品質に引き上げた際、推論コストをどこまで抑え込めるかが商業化への最大の関門になりそうです。