Overworld 开源实时世界模型 Waypoint-1：键鼠直接操控，5090 上跑出 60 帧

Waypoint-1 是 Overworld 开源的实时交互式视频扩散模型，它能让你直接用键盘和鼠标，像玩游戏一样在 AI 生成的世界里实时漫游。

以往大多数所谓的世界模型，通常是拿现成的预训练视频模型缝合一点简单的控制信号，几帧才能转动一次视角，延迟还很高。Waypoint-1 从一开始就是为了可玩交互设计的，不仅没有视角移动限制，还能做到几乎零延迟的键鼠实时响应。

它能做什么与怎么做到的

你可以给 Waypoint-1 输入文本提示词（比如赛博朋克城市或美丽山谷）以及初始参考帧，随后就能用键盘按键和鼠标移动实时探索场景。模型会把你的每一步控制作为上下文，实时逐帧渲染出新的画面。

这个模型的核心是一个基于因果机制的整流流 Transformer（Rectified Flow Transformer），工作在压缩后的潜空间中。团队使用了 1 万小时配对好的游戏录像、键鼠操作记录和文本描述来进行训练。

在训练机制上，团队先通过 Diffusion Forcing 让模型根据历史帧对未来帧单独去噪，解决逐步生成的自回归问题；随后又利用 DMD 的 Self-Forcing 技术进行后训练，对齐推理阶段的误差累积，并实现了单次前向 CFG 与极少步数的高速去噪。

5090 上跑满 60 帧与如何上手

为了让普通消费级显卡也能跑得顺畅，Overworld 同步开源了纯 Python 推理库 WorldEngine。在单张 RTX 5090 显卡上，运行参数量为 2.3B 的 Waypoint-1-Small 时，单次去噪吞吐量可达每秒约 3 万个 token-pass。选择 4 步去噪能稳定在 30 FPS，若是 2 步去噪则可以直接飙到 60 FPS。

这种速度来自四个底层工程优化：缓存未变化的 AdaLN 条件投影、静态滚动 KV 缓存配合 Flex Attention、QKV 矩阵乘法融合，以及 PyTorch 2 的全图编译优化。

目前 Overworld 已经在 Hugging Face 上放出了 Waypoint-1-Small 的权重，文件大小约 25.2 GB，代码可通过纯 Python 库调用，更大的 Medium 版本后续也会推出。如果你不想本地配置硬件，也可以直接在 overworld.stream 网页端体验。

不过需要提醒的是，模型目前的画面清晰度相对基础，多帧之后的空间一致性依然较差，偶尔还会出现奇怪的视觉幻觉与形变。

为什么重要

我们认为，Waypoint-1 的价值不在于它现在的画面有多精致，而在于它彻底捅破了「交互式视频生成太慢」这层窗户纸。把生成帧率直接拉到 60 FPS、延迟压到肉眼几乎无感的实时级别，意味着 AI 实时生成可玩世界不再只是学术演示或服务器集群的专属特权。

对于游戏开发者、图形工程师和交互设计师来说，现在就很值得把代码拉下来跑一跑，看看纯神经网络渲染与传统游戏管线结合的可能性。尽管长时一致性和画面细节仍是硬伤，但这种从底层数据就绑定控制信号的架构思路，给后续的交互式世界模型指了一条非常实在的落地路径。