リアルタイム映像対話モデル「Wan-Streamer v0.2」登場：遅延を保ち高解像度化

画面の向こうにいるAIキャラクターが、こちらの着ている服や部屋の様子を即座に認識し、わずかな間もなく言葉と表情を返してくる。しかも以前のような粗いアップ写真ではなく、上半身の身振り手振りや周囲の背景まで自然に映し出される。

リアルタイム対話モデルの最新版となる「Wan-Streamer v0.2」の論文および技術概要が公開されました。音声と映像をエンドツーエンドで生成する枠組みを維持しながら、応答遅延を一切増やさずに解像度を大幅に引き上げています。

遅延200ミリ秒を保ったまま中景描写に対応

従来のv0.1は、単一のTransformer上でテキスト、音声、映像を統合処理できる画期的な設計だったものの、解像度が192×336ピクセルと非常に低く、顔のアップ表示が限界でした。

今回のv0.2ではフレームレート25fpsを維持したまま、解像度を640×368ピクセルへと拡張しました。重要なのは、モデル側の処理遅延が約200ミリ秒のまま据え置かれている点です。往復350ミリ秒のネットワーク遅延を含めても、全体の対話遅延は約550ミリ秒に収まります。自然言語プロンプトから対話を開始する際の事前準備も約0.5秒で完了します。

画質が向上したことで、顔だけでなく姿勢、手の動き、視線、部屋のインテリアまで正確に描写できる中景アングルが可能になりました。デモでは、ユーザーの眼鏡やピンクの服、部屋の壁の模様を正確に言い当てており、キャラクターも人物だけでなく猫や架空のキャラクターへと柔軟に変更できます。

単一GPUとクラスタを組み合わせた高速パイプライン

高解像度映像の生成負荷を抑えつつリアルタイム性を維持するため、開発チームは「シンカー（Thinker）」と「パフォーマー（Performer）」に分ける新しい推論トポロジを導入しました。

単一のGPUで動くシンカーは、ストリーミング入力の知覚、言語や状態の更新、KVキャッシュの構築、そして直前ユニットのデコード出力を担当します。いわば頭脳としての役割に専念させます。

一方で負荷の重い次ユニットの潜在動画生成は、Ulysses方式のコンテキスト並列処理を用いる複数GPUのパフォーマー集団に任せます。長い動画シーケンスのみを各GPUに分散して並列ノイズ除去を行い、データ量の少ない音声シーケンスは分割せずに処理します。この並列パイプラインにより、160ミリ秒のストリーミング枠内にすべての計算を収めることに成功しました。

なぜ重要か

私たちは、Wan-Streamer v0.2が対話型AIにおける「つぎはぎ構造」の限界を打ち破る有力な一歩だと考えています。既存の多くのデジタルヒューマンは、大規模言語モデル、音声合成、リップシンク生成を別々に繋ぎ合わせているため、遅延が大きく挙動もぎこちなくなりがちでした。単一モデルで映像と音声を同時に紡ぎ出すアプローチは、圧倒的に自然なテンポを生み出します。

ユーザーや開発者にとっても、胸元や手の動きが見える中景構図が実用的な画質で動く価値は大きいです。バーチャルアシスタントやゲームNPC、接客アバターの臨場感が劇的に向上します。

ただし、課題も明白です。推論に複数GPUの並列クラスタを要求する構成は、多数のユーザーへ同時に展開する際のインフラコストが極めて高くなります。現時点では論文とデモの公開に留まっており、一般提供やオープンソース化の時期は明かされていません。実用化に向けては、この高い体験価値をどこまで軽量化できるかが焦点になりそうです。