Overworld 開源即時世界模型 Waypoint-1：鍵鼠直接操控，5090 上跑出 60 幀

Waypoint-1 是 Overworld 開源的即時互動式影片擴散模型，它能讓你直接用鍵盤和滑鼠，像玩遊戲一樣在 AI 生成的世界裡即時漫遊。

以往大多數所謂的世界模型，通常是拿現成的預訓練影片模型縫合一點簡單的控制訊號，幾幀才能轉動一次視角，延遲還很高。Waypoint-1 從一開始就是為了可玩互動設計的，不僅沒有視角移動限制，還能做到幾乎零延遲的鍵鼠即時響應。

它能做什麼與怎麼做到的

你可以給 Waypoint-1 輸入文本提示詞（比如賽博朋克城市或美麗山谷）以及初始參考幀，隨後就能用鍵盤按鍵和滑鼠移動即時探索場景。模型會把你的每一步控制作為上下文，即時逐幀渲染出新的畫面。

這個模型的核心是一個基於因果機制的整流流 Transformer（Rectified Flow Transformer），工作在壓縮後的潛空間中。團隊使用了 1 萬小時配對好的遊戲錄影、鍵鼠操作記錄和文本描述來進行訓練。

在訓練機制上，團隊先通過 Diffusion Forcing 讓模型根據歷史幀對未來幀單獨去噪，解決逐步生成的自迴歸問題；隨後又利用 DMD 的 Self-Forcing 技術進行後訓練，對齊推理階段的誤差累積，並實現了單次前向 CFG 與極少步數的高速去噪。

5090 上跑滿 60 幀與如何上手

為了讓普通消費級顯示卡也能跑得順暢，Overworld 同步開源了純 Python 推理庫 WorldEngine。在單張 RTX 5090 顯示卡上，執行引數量為 2.3B 的 Waypoint-1-Small 時，單次去噪吞吐量可達每秒約 3 萬個 token-pass。選擇 4 步去噪能穩定在 30 FPS，若是 2 步去噪則可以直接飆到 60 FPS。

這種速度來自四個底層工程最佳化：快取未變化的 AdaLN 條件投影、靜態滾動 KV 快取配合 Flex Attention、QKV 矩陣乘法融合，以及 PyTorch 2 的全圖編譯最佳化。

目前 Overworld 已經在 Hugging Face 上放出了 Waypoint-1-Small 的權重，檔案大小約 25.2 GB，程式碼可通過純 Python 庫呼叫，更大的 Medium 版本後續也會推出。如果你不想本地配置硬體，也可以直接在 overworld.stream 網頁端體驗。

不過需要提醒的是，模型目前的畫面清晰度相對基礎，多幀之後的空間一致性依然較差，偶爾還會出現奇怪的視覺幻覺與形變。

為什麼重要

我們認為，Waypoint-1 的價值不在於它現在的畫面有多精緻，而在於它徹底捅破了「互動式影片生成太慢」這層窗戶紙。把生成幀率直接拉到 60 FPS、延遲壓到肉眼幾乎無感的即時級別，意味著 AI 即時生成可玩世界不再只是學術演示或伺服器叢集的專屬特權。

對於遊戲開發者、圖形工程師和互動設計師來說，現在就很值得把程式碼拉下來跑一跑，看看純神經網路渲染與傳統遊戲管線結合的可能性。儘管長時一致性和畫面細節仍是硬傷，但這種從底層資料就繫結控制訊號的架構思路，給後續的互動式世界模型指了一條非常實在的落地路徑。