ABot-World:单张 RTX 5090 跑得动的无限实时交互世界
ABot-World 是一个开源的实时交互式世界模拟器,允许用户实时输入动作控制场景走向,支持无上限的持续生成。模型只需单张 RTX 5090 显卡即可在本地运行,以 1.2 秒延迟输出 720p、16 FPS 画面,代码与模型权重均按 Apache 2.0 协议开源。
ABot-World 是一个开源的实时交互式世界模拟器,它能把你的键盘操作实时变成画面,让你在 AI 实时生成的三维环境里一直走下去。
大多数世界生成模型只能吐出几秒或几分钟的片段,时间一长就会崩坏或者画面卡死。ABot-World 主打的就是不设时长上限的连续探索,官方甚至放出了连续运行超过 1 小时以及长达 24 小时不间断生成的演示。
它能做到什么
传统的视频生成更像是播放固定片段,而 ABot-World 是根据你的实时动作指令来决定下一帧发生什么。你在里面控制角色移动,模型会实时渲染对应视角的环境变化,带来真正的互动感。
更聪明的是它的场景延展能力。在漫长的生成过程中,它不会被困在最初的房间或小巷里,而是通过一种叫 LongForcing 的训练机制,在保持前后逻辑连贯的同时不断想象出新场景和动态元素,全程不需要手动切换提示词。
目前模型生成的画面规格是 720p 分辨率,运行帧率为 16 FPS。从你按下按键到画面做出响应,端到端延迟大约在 1.2 秒左右。
怎么跑起来
这套系统最让人意外的地方,在于它不需要动用服务器集群。它只需要一张 32GB 显存的 NVIDIA RTX 5090 桌面显卡,在推理时占用大约 19GB 显存。
测试环境推荐 Ubuntu 22.04、CUDA 12.8 和 Python 3.12。代码库依赖 PyTorch 2.8、FlashAttention 以及 SageAttention 等加速内核。如果嫌手动编译环境繁琐,团队在 Docker Hub 和阿里云镜像仓库提供了预构建好的 Docker 镜像,拉取镜像后挂载权重就能直接跑。
开源力度非常彻底。不仅推理代码、因果学生模型 ABot-World-0-5B-LF 以及本地 Gradio 演示完全公开,项目还放出了带精准动作标注的 500 小时视频训练数据集和技术报告,整体遵循非常宽松的 Apache 2.0 协议,甚至允许商用。
想要本地跑的朋友可以去 GitHub 搜索 amap-cvlab/ABot-World,模型权重可以从 Hugging Face 或 ModelScope 下载。如果手里没有 RTX 5090,他们也提供了一个在线演示工具 ABot World Studio 供体验。
为什么重要
以往谈到实时生成交互世界,大家想到的都是几十上百张 A100 堆出来的云端怪兽,或者是几秒就穿帮的玩具。ABot-World 第一次证明了,消费级桌面显卡靠着因果蒸馏和工程优化,也能撑起一个低延迟、可无限游玩的世界模型。
我们认为,虽然 1.2 秒的延迟和 16 帧对于激烈动作游戏来说还略显迟钝,但在沙盒探索、具身智能机器人虚拟仿真训练上,这种单卡能跑的本地模拟器性价比极高。对于独立游戏开发者和仿真研究者来说,现在就很值得克隆一份跑跑看。
来源 (2)
- github.com(在新标签页打开)原文github.com
- amap-cvlab.github.io(在新标签页打开)报道amap-cvlab.github.io