アリババが「StreamChar」発表：単一H100で全身アバターのリアルタイム音声・動画生成

現在出回っているアバターの多くは、実質的に顔写真の口元だけを動かすトーキングヘッドにとどまっています。全身を動かしながら台本に合わせてリアルタイムに対話させようとすると、数十秒で口パクと音声がズレたり、顔つきが別人に変化してしまったりするのが常でした。

アリババの研究チームがキャラクター動画のリアルタイム生成フレームワーク「StreamChar」の論文を公開しました。長時間の構成計画と短時間の生成処理を切り分けることで、単一のH100 GPU上で破綻のない全身キャラクターのリアルタイム動画・音声生成を実現しています。

計画と生成を分離する賢い設計

リアルタイムで破綻なくキャラクターを動かし続けるには、台本の再現性、外見の一貫性、そして再生バッファに間に合わせる超低遅延を同時に満たす必要があります。

ブロック単位で逐次生成する従来の手法では、わずかなズレが蓄積して音ズレや外見崩れを起こしがちでした。また、遅延を削るための極端な蒸留処理は、映像の品質や動きの滑らかさを損なう原因になります。

StreamCharは、この難題を「役割分担」で解決しました。全体を俯瞰するLLMオーケストレーターが台本と文脈を読んでフレーム同期用の音声条件を整え、局所的な短い時間枠のノイズ除去は音声・映像統合DiTが担当します。

さらに、生成中の音声とテキストを正確に対応付けるプログレスポインタと、長時間の配信でも外見を固定するシンクチャンクメモリを導入。最後に2段階の蒸留パイプラインを通すことで、単一のH100で滑らかに動くリアルタイム性能を絞り出しました。

なぜ重要か

長時間のタイムライン管理をLLMに委ね、短時間の映像生成にDiTを専念させる設計は、非常に理にかなっています。1つの拡散モデルにすべてを背負わせるアプローチに比べ、破綻の原因を局所化できるからです。

業界の視点で見れば、対話型アバターの基準が「大頭写真」から「全身キャラクター」へと一段引き上げられました。バーチャル配信者、ゲームのNPC、短尺ドラマ制作などにおいて、素材と台本さえ渡せばリアルタイムに動かせる環境が視野に入ってきます。

現時点では論文公開の段階であり、コードや重みの提供範囲はまだ不透明です。また、単一とはいえH100を前提とするインフラ要件は個人や小規模開発者には依然として高嶺の花です。それでも、全身が破綻せず動き続けるライブ生成が単一アクセラレータで成立することを実証した意義は小さくありません。