VR向け全身アバター「SARAH」：3D空間認識で視線や姿勢を自然に同期

VRヘッドセットを被ってアバターと話すとき、最も違和感を覚えるのは画質ではなく「視線」や「間」の不自然さです。自分の動きを無視して虚空を見つめられたり、機械的に身振りを繰り返されたりすると、没入感は一瞬で冷めてしまいます。

研究チームが発表したリアルタイム全身アバターシステム「SARAH（Spatially Aware Real-time Agentic Humans）」は、まさにこの空間的違和感を解消するために作られました。ユーザーの3D位置を把握し、身体の向きや視線を自然に同期させることができます。

視線の強さを手元で調整できる仕組み

従来の会話モーション生成手法の多くは、音声に合わせて手を動かすだけで、相手が部屋のどこにいるのかを認識していませんでした。対するSARAHは、双方の音声とユーザーの頭部3D座標を同時に取り込み、相手の位置に合わせて立ち位置や身体の向きをリアルタイムに補正します。

特にユニークなのが視線制御の仕組みです。研究チームはゲイズスコアリング機構とClassifier-Free Guidanceを導入し、空間学習と視線コントロールをうまく分離させました。

この工夫により、推論時にアイコンタクトの強さを手動調整できるようになっています。強度を0に設定すれば、時折視線を外す自然な日常会話の振る舞いになり、1に上げればじっと見つめ続ける状態を作れます。固定された不気味な視線に悩まされる心配がありません。

300FPS超の超高速ストリーミング描画

VRヘッドセットで遅延なく動かすため、モデル構造にも踏み込んでいます。因果的Transformer VAEとインターリーブ潜在トークンを組み合わせ、フローマッチングモデルによって流れるような推論を実現しました。

Embody 3Dデータセットを用いた検証では、SARAHは300FPSを超える圧倒的な処理速度を記録しました。非因果的な従来モデルと比べて約3倍高速で、3年前のMDMといった拡散モデルベースの手法と比較しても、手足の不自然なブレや乱れが大幅に減少しています。

超低遅延で動作するため、実際のVRストリーミング環境でも実用性が実証されています。単なる定位置で台本を読むキャラクターではなく、こちらの一歩に合わせて向きを変えてくれる対話相手が誕生した形です。

なぜ重要か

SARAHのアプローチがスマートなのは、モデルの肥大化に頼るのではなく、没入感の核心である「空間認識」と「処理速度」に照準を絞った点にあります。VR空間では、どんなに見た目がリアルでも、反応が数十ミリ秒遅れたり視線が合わなかったりするだけで、ロボット臭さが際立ってしまいます。

300FPSを超える性能を叩き出したことで、高性能な動捕設備がなくても、コンシューマー向けVR端末で滑らかな全身インタラクションを動かせる道筋が立ちました。バーチャルコンパニオンや遠隔会議、ゲームのNPC開発者にとって極めて実用的な基盤技術になるはずです。

現時点では1対1の対話が中心であり、複数人が入り乱れる空間や激しい全身運動での挙動は今後の課題と言えます。それでも、アバターがこちらを自然に見つめ返してくれるだけで、バーチャル空間の距離感は劇的に縮まります。