交互式 VR 视频世界模型：用头显动作实时操控生成画面，达 11 FPS

以前给 AI 一段话让它生成视频，你只能当个坐在屏幕前的观众；如果想走进去，最多也只能用键盘前后左右晃两下。

研究人员公布了一项交互式 VR 视频世界模型研究。他们把 VR 头显追踪到的头部和手部动作直接作为控制信号，让 AI 实时生成第一人称视角的虚拟画面。

戴上头显，系统会记录你的头怎么转、手怎么动。你只要再补一句文本提示词，模型就会把你的动作实时映射进生成的场景里。

把身体动作变成视频提示词

传统的视频世界模型大多只支持文本或按键等粗粒度控制，根本谈不上具身交互。

这项研究的核心在于做了一个以人为中心的生成机制。它把头显追踪到的头部 3D 姿态和关节级的手部动作，与现有的扩散 Transformer 结合起来，专门解决精细的手物交互问题。

在演示中，用户给出一句话，就能直接进入不同的虚构环境。戴着头显挥旗、在海滩举起火把、蹲下逗猫摸狗、在热带海滩鼓掌，甚至和一个骑士打斗，生成的画面都会根据身体动作实时变化。

从教师模型蒸馏出的 11 帧世界

为了让庞大的扩散模型能跟上人的动作，团队先训练了一个双向视频扩散模型作为教师模型，学习复杂的空间控制。

随后，他们将这个教师模型蒸馏成一个具有因果逻辑的实时交互系统，用来生成第一人称的交互环境。在实测中，该系统能达到大约 11 FPS 的生成速度。

虽然 11 帧对于 VR 头显来说还谈不上丝滑，画质也还在早期阶段，但在真人测试中，受试者的任务完成表现以及他们主观感受到的操控感，都明显高出以往的基准模型。

为什么重要

我们认为这项研究最聪明的地方，是没有继续在键盘控制的死胡同里打转，而是直接把关节级手部追踪接进了视频扩散模型，推开了所谓「生成式现实」的一角。

对普通用户和开发者来说，它现在显然还不适合日常使用。VR 体验通常需要 72 甚至 90 FPS 才能避免晕动症，11 FPS 的刷新率和初期的画质只能作为技术预览。但如果你在关注具身智能或下一代虚拟现实，这个方向值得紧密跟踪。

对整个行业而言，它正在尝试改写 XR 内容的底层逻辑。传统 VR 必须依赖庞大的 3D 建模、骨骼动画和图形渲染管线，而这项技术试图直接用神经网络「脑补」出互动世界。

不过隐患同样明显。纯视频生成如何保证长久交互下的物理一致性，以及如何在保证画面细节的同时把延迟压到毫秒级，依然是摆在生成式 VR 面前的巨大难题。