ABot-World:單張 RTX 5090 跑得動的無限即時互動世界
ABot-World 是一個開源的即時互動式世界模擬器,允許使用者即時輸入動作控制場景走向,支援無上限的持續生成。模型只需單張 RTX 5090 顯示卡即可在本地執行,以 1.2 秒延遲輸出 720p、16 FPS 畫面,程式碼與模型權重均按 Apache 2.0 協議開源。
ABot-World 是一個開源的即時互動式世界模擬器,它能把你的鍵盤操作即時變成畫面,讓你在 AI 即時生成的三維環境裡一直走下去。
大多數世界生成模型只能吐出幾秒或幾分鐘的片段,時間一長就會崩壞或者畫面卡死。ABot-World 主打的就是不設時長上限的連續探索,官方甚至放出了連續執行超過 1 小時以及長達 24 小時不間斷生成的演示。
它能做到什麼
傳統的影片生成更像是播放固定片段,而 ABot-World 是根據你的即時動作指令來決定下一幀發生什麼。你在裡面控制角色移動,模型會即時渲染對應視角的環境變化,帶來真正的互動感。
更聰明的是它的場景延展能力。在漫長的生成過程中,它不會被困在最初的房間或小巷裡,而是通過一種叫 LongForcing 的訓練機制,在保持前後邏輯連貫的同時不斷想像出新場景和動態元素,全程不需要手動切換提示詞。
目前模型生成的畫面規格是 720p 解析度,執行幀率為 16 FPS。從你按下按鍵到畫面做出響應,端到端延遲大約在 1.2 秒左右。
怎麼跑起來
這套系統最讓人意外的地方,在於它不需要動用伺服器叢集。它只需要一張 32GB 視訊記憶體的 NVIDIA RTX 5090 桌面顯示卡,在推理時佔用大約 19GB 視訊記憶體。
測試環境推薦 Ubuntu 22.04、CUDA 12.8 和 Python 3.12。程式碼庫依賴 PyTorch 2.8、FlashAttention 以及 SageAttention 等加速核心。如果嫌手動編譯環境繁瑣,團隊在 Docker Hub 和阿里雲映象倉庫提供了預構建好的 Docker 映象,拉取映象後掛載權重就能直接跑。
開源力度非常徹底。不僅推理程式碼、因果學生模型 ABot-World-0-5B-LF 以及本地 Gradio 演示完全公開,專案還放出了帶精準動作標註的 500 小時影片訓練資料集和技術報告,整體遵循非常寬鬆的 Apache 2.0 協議,甚至允許商用。
想要本地跑的朋友可以去 GitHub 搜尋 amap-cvlab/ABot-World,模型權重可以從 Hugging Face 或 ModelScope 下載。如果手裡沒有 RTX 5090,他們也提供了一個線上演示工具 ABot World Studio 供體驗。
為什麼重要
以往談到即時生成互動世界,大家想到的都是幾十上百張 A100 堆出來的雲端怪獸,或者是幾秒就穿幫的玩具。ABot-World 第一次證明了,消費級桌面顯示卡靠著因果蒸餾和工程最佳化,也能撐起一個低延遲、可無限遊玩的世界模型。
我們認為,雖然 1.2 秒的延遲和 16 幀對於激烈動作遊戲來說還略顯遲鈍,但在沙盒探索、具身智慧機器人虛擬模擬訓練上,這種單卡能跑的本地模擬器價效比極高。對於獨立遊戲開發者和模擬研究者來說,現在就很值得克隆一份跑跑看。
來源 (2)
- github.com(在新分頁開啟)原文github.com
- amap-cvlab.github.io(在新分頁開啟)報導amap-cvlab.github.io