Wan Streamer 0.3発表：自然言語でアバターの動作をリアルタイム制御

これまでの対話型AIアバターを体験したことがある人なら、その限界をよく知っているはずです。リップシンクや視線合わせ、相槌などの表情はリアルになっても、画面の中央にじっと座ったまま上半身だけで会話する「静止した胸像」の域を出ていませんでした。

対話型動画モデルの研究プロジェクトWan Streamerがバージョン0.3（v0.3）を発表し、この壁を破るアプローチを提示しました。

v0.1とv0.2ではリアルタイムな音声同期や視線、微小な表情変化などの「会話」に焦点を当てていましたが、v0.3では自然言語の指示に従ってアバターが手足を動かし、周囲の環境とインタラクションできる動作制御へと進化しています。

チームは「Video = World + Event Stream」と題した論文を公開しました。

動画を「世界」と「イベントストリーム」に分離する

リアルタイム動画生成でアバターに派手な動作をさせると、服の模様が変わったり背景が歪んだりする一貫性の崩壊が起きがちです。

Wan Streamer 0.3はこの課題に対し、動画を一貫性を保つべき「世界」と、時間とともに変化する「イベントストリーム」の2つに分離してモデル化する手法を採用しました。

「世界」にはキャラクターの外見、部屋の構造、照明、画風など、長期的に固定される要素が含まれます。一方の「イベントストリーム」には、発話、身体の動作、カメラワーク、環境の変化など、刻々と移り変わる出来事がすべて格納されます。

リアルタイム対話中、ユーザー側のカメラ映像、マイク音声、テキスト入力もこのイベントストリームの一部として統合されます。これにより、モデルは通常の動画から「世界を保持しながら次に何が起きるか」を直接学習できるようになりました。

括弧で書かれた自然言語による動作制御

実際の対話において、動作は台詞の合間に括弧書きのテキストとして挿入されます。

例えば「（草むらに手を伸ばして緑の葉を拾い上げる）見て、何を見つけたと思う？」「（驚いて口元を手で覆う）まさかこうなるとは思わなかった」といった形式です。括弧の中には、ポーズ変更や物を持つ動作、音への反応など、言語で表現できるあらゆる動作を指定できます。

デモでは「ピースサインをして」「腰に手を当てて」「髪を整えて」「右を見て」「床を見下ろして」といった指示に対して、アバターが音声の返答と同時に自然な動作をリアルタイムで生成しています。

動作と発話が同一のストリーム上で同時に処理されるため、後からモーションを合成する従来手法とは異なり、タイミングのズレがありません。公開されたデモ映像も倍速処理や合成を行わず、ネットワーク遅延を含めた実際の端対端レイテンシであることが明記されています。

なぜ重要か

Wan Streamer 0.3の最大の見どころは、ボーン制御や後処理レンダリングに頼るのではなく、身体動作を言語や音声と同じ「イベントストリーム」として統合して学習させた点にあると考えられます。

従来のデジタルヒューマンは、LLMで台詞を作り、音声合成を行い、リグ付きの3Dモデルや別工程の動画モデルで動作を後付けする複雑なパイプラインを組んでいました。これではシステムが肥大化し、リアルタイムの全二重対話で遅延を抑えることが困難です。世界設定とイベントの分離という枠組みは、動画生成AIを本格的な対話エージェントへ進化させる上で極めて合理的なアプローチです。

ただし、今すぐ自分の環境で動かせるわけではありません。現在は技術論文とデモ動画が公開された段階にとどまっており、モデルの重みやリアルタイム推論コードは提供されていません。高度なコンピュートを必要とする動画生成モデルを、どのようなコストとインフラで一般ユーザーの手元に届けるかが今後の最大の焦点になりそうです。