VRの頭部と手の動きでリアルタイム生成：一人称視点の対話型動画モデルが登場

これまでのAI動画生成は、画面の外から眺めるか、キーボードで視点を少し動かす程度にとどまっていました。

研究チームはVRヘッドセットのトラッキング情報をそのまま利用し、一人称視点の対話型動画をリアルタイム生成する世界モデルを発表しました。

ヘッドセットを装着すると、頭の向きや手の動きが記録されます。テキスト指示を添えるだけで、自分の身体動作がリアルタイムに生成映像の世界へ反映されます。

身体の動きを動画の入力信号にする

既存の動画世界モデルの多くは、テキストやキーボード入力といった大まかな制御にしか対応しておらず、身体性を持った対話には限界がありました。

今回の研究では、頭部の3D姿勢と関節レベルの手のポーズをDiffusion Transformerの制御信号として組み込む仕組みを提案しています。これにより、手と物体の細かな相互作用を扱えるようになりました。

デモでは、言葉を入力するだけでさまざまな架空世界に入り込めます。旗を振る、海辺で松明を掲げる、猫や犬を撫でる、砂浜で手を叩く、騎士と戦うといった動作が、自分の身体の動きに応じて一人称視点で生成されます。

双方向拡散モデルを蒸留し、11FPSで駆動

リアルタイム性を確保するため、研究チームはまず空間制御を学習した双方向動画拡散モデルを教師役として訓練しました。

そのうえで、因果関係を保った対話型システムへと蒸留し、一人称視点の環境を逐次生成できるようにしています。現在の動作速度は約11FPSです。

VRとして滑らかと言える水準ではなく、画質もまだ初期段階ですが、被験者を用いた実験では、従来手法と比べてタスクの達成度や「自分で操作している感覚」が大幅に向上したと報告されています。

なぜ重要か

キーボードによる簡易的な移動から脱却し、関節レベルのハンドトラッキングを直接動画拡散モデルに接続した点は、非常に筋が良いアプローチだと考えます。

一般ユーザーや開発者にとって、現時点で実用できるレベルではありません。VRヘッドセットで酔いを防ぐには通常72FPSから90FPSが必要であり、11FPSの技術デモはあくまで研究段階のプロトタイプです。それでも、身体性AIや次世代XRの方向性を掴む材料としては十分な価値があります。

XR業界にとっても、コンテンツ制作の常識を揺るがす可能性を秘めています。従来のVRのように膨大な3Dモデルや物理演算エンジンを用意しなくても、ニューラルネットワークが直接世界を描き出す未来が見え始めています。

課題は明確です。視界の違和感をなくすための超低遅延化と、長時間の対話でも破綻しない物理的一貫性を、動画生成モデルがどこまで担保できるかが今後の焦点になります。