テンセント、物体と自然に触れ合える対話アバター「InteractAvatar」発表

動画生成AIで作られたアバターを見ていると、ある違和感に気づくはずです。顔の表情やリップシンクは非常に精巧なのに、体は直立不動のままで、手振りも空を切るような不自然な動きにとどまっています。

手元のスマートフォンを拾い上げたり、コーヒーカップを口に運んだりといった日常的な動作をさせようとした途端、その不自然さは一気に露呈してしまいます。

テンセントなどの研究チームは2月2日、こうした従来の「棒立ち口パク」アバターの壁を破る新フレームワーク「InteractAvatar」を発表しました。

棒立ちを脱し、スマホやヘッドフォンを自然に扱う

Omni Avatarをはじめとする従来の手法は、自然な発話動作やわずかな身振りを生成することには長けていましたが、身の回りの物体を直接操作することはできませんでした。

InteractAvatarは、環境認識と物体操作を組み合わせた接地型インタラクション（GHOI）を実現します。ヘッドフォンを装着する、スマートフォンを手に取る、ぬいぐるみに触れるといった複雑な手の動きを伴う動作をこなせます。

さらに強力なのが、タイムスタンプ単位での制御です。「4秒目にリンゴに触れ、12秒目に持ち上げる」といった連続したプロンプトに対し、指定された時間通りに正確な動作を動画内で再現できます。

認識と映像生成を切り離したデュアルストリーム

物体を正確に扱わせようと制御を強めると映像品質が落ちるというジレンマに対し、研究チームは認識・計画と映像合成を切り離すデュアルストリーム構造を採用しました。

システムは主に2つのモジュールで構成されています。物体検出を用いて周囲の環境を認識しテキストに沿った動作を計画する「PIM」と、発話アバターの映像を合成する「AIM」です。

これらを専用のモーション・ビデオアライナーで結びつけ、並列処理させることで、時間指定通りの精密な動作と破綻のない高画質を両立させました。チームはあわせて、この分野の性能を測るベンチマーク「GroundedInter」も公開しています。

なぜ重要か

ライブコマースや商品説明動画を制作するクリエイターにとって、物体を扱えるアバターの登場は実用性を大きく引き上げます。商品を手に取って見せられない従来のアバターは説得力に欠けていましたが、自然に製品を扱えるようになれば用途は一気に広がります。

業界全体で見ても、単に話すだけのアバター技術はすでに頭打ちになりつつあります。次に求められるのは、物理空間や置かれた小道具と矛盾なく関わる能力です。

今回の手法は、環境認識と描画処理を賢く分離することで、無理にひとつのモデルにすべてを背負わせる破綻を回避している点が秀逸だと考えます。現時点では研究論文の段階であり、リアルタイム処理などの実用化にはまだ検証が必要ですが、仮想キャラクターが現実の小道具を違和感なく操る未来へ大きく前進したと言えます。