Runway 发布 GWM Worlds 2：720p 实时生成交互世界，按键即可操控

过去做 AI 视频，你输入一段提示词，等上几十秒甚至几分钟，然后拿到一段四秒或八秒的固定短片。不管画面多逼真，你都只能当观众。

现在 Runway 想打破这堵墙。9 月 3 日，Runway 发布了实时世界模型 GWM Worlds 2。它直接把视频生成做成了一个可以边走边玩的互动模拟器，以 720p 分辨率、每秒 24 帧连续生成视频，同时输出 48000 Hz 的匹配音频。

最关键的是，它没有固定时长限制。只要你不停手，这个世界就能一直生成下去。

像打游戏一样控制世界

GWM Worlds 2 的前身是去年 12 月推出的 GWM Worlds。新版本能在保持空间一致性的同时做到实时交互，核心靠的是一套名为 WorldPrompt 的输入机制。

Runway 把世界拆成两个部分：不变的和随时间变化的。首先给模型一张首帧图像和一段「创世提示词」，定下场景布局、光影材质、环境音以及重力或碰撞等物理法则。接着，模型接收实时的动作事件流和镜头移动参数。

在演示里，交互体验几乎和玩游戏一样。你可以切换第一人称或第三人称视角，让角色走路、奔跑、骑车或者攀爬。镜头和角色的移动互相独立，互不干扰。

为了解决实时打字太慢的问题，Runway 在 Demo 中把常规动作绑定到了键盘按键上。比如按 W 键就是「角色向前走」，鼠标左键则是「扔出一个球」。角色还能与场景深入交互，比如打开一盏台灯并改变颜色，甚至可以让剧场舞台瞬间燃起大火。此外，NPC 之间或 NPC 与玩家之间的对话也能实时生成，包括语音、语气、语种以及严丝合缝的唇形对齐。

模型还支持多玩家接入。通过 LiveKit 实时分发音视频流，不同用户可以认领不同角色，或者一个人当主角、另一个人充当控制场景环境的「导演」。

告别固定片段，自回归生成无限延伸

技术架构上，GWM Worlds 2 是一个自回归扩散音视频模型。此前微调后的双向模型生成速度太慢，Runway 通过后训练将其转变为实时的自回归架构。

在生成每一帧时，模型会同时结合三类信息：首帧与创世提示构成的全局上下文、当前帧的镜头与文本指令，以及缓存在滑动窗口里的历史画面。旧的帧会被滑动窗口自动淘汰，而因果解码器通过缓存加速运算，从而维持住 24 帧的实时生成速率。

除了从一张图片启动，它还能直接吃进一段已有的几秒视频作为前缀，接着之前的画面继续交互，环境和音效完全无缝顺畅。

不过，Runway 也坦言这目前仍是研究预览版。为了跑出 24 帧的实时速度，画质做出了明显妥协。如果镜头转动过快，场景的几何结构和纹理细节就会出现明显的崩坏与降级。此外，长程记忆力仍不完美，模型暂时也不支持首帧之外的图像参考。目前普通用户还无法直接随意试玩，需要填写表单申请联络。

为什么重要

从生成一段死板的短视频，到生成一个能随时受控的动态世界，这是生成式 AI 在逻辑上的质变。

对创作者和游戏开发者来说，这意味着「生成内容」和「引擎渲染」的边界开始模糊。虽然目前的 720p 画面在剧烈移动时容易出现伪影，还无法替代传统的 3D 游戏引擎，但它让低成本构想虚拟环境、快速原型设计以及互动短剧有了全新的可能。尤其在具身智能和机器人领域，这种能够自主遵循物理规则、响应指令的环境，会是绝佳的低成本仿真训练场。

我们认为，Runway 这一步走得相当务实。他们没有在离线超高画质的死胡同里内卷，而是敏锐地转向了「低延迟与可交互性」。用按键绑定文本动作的做法虽然有点投机，但确实跨过了人类打字速度慢和视觉大模型响应延迟的门槛。

随着这类实时世界模型继续演进，未来的互动娱乐很可能不再依赖庞大的手工 3D 资产建模，而是靠着即时的生成与推演铺展在玩家眼前。