跳到正文
IFAI

开源项目

蚂蚁旗下 Robbyant 开源 LingBot-World 2.0:实时生成可交互世界

首次发布 传播指数 48

蚂蚁旗下 Robbyant 开源世界模型 LingBot-World 2.0。它采用因果预训练实现长时交互且画质无明显衰减,蒸馏版本能以 720p 60fps 实时运行,还引入双 Agent 协同生成动作与环境。目前已开源 1.3B 和 14B 权重。

蚂蚁旗下 Robbyant 开源 LingBot-World 2.0:实时生成可交互世界
图:github.com

Robbyant 开源的 LingBot-World 2.0(也称 LingBot-World-Infinity)是一个可交互世界模型,能把视频生成模型变成实时可操作的虚拟空间。你通过键盘输入动作或输入文字指令,它就能实时演算并输出连续的视频画面。

它能做什么

以往的世界模型通常只能做到简单的推镜头或前后走动,跑上几十秒到几分钟画面就会开始扭曲、模糊甚至彻底崩塌。LingBot-World 2.0 的核心突破是长时交互不衰减,官方测试显示它可以连续运行一个多小时,画质没有出现明显退化。

在操作自由度上,它支持更丰富的动作指令,包括攻击、射箭、施法和射击等,甚至可以操控非人形物体,比如在房间里控制一把椅子移动。除了角色操作,你还可以随时输入提示词改变天气或增加事件,比如要求场景下雪、下雨或生成特定建筑。

另一个亮点是双 Agent 协同架构。模型内部由规划角色行为的领航员(Pilot Agent)与动态生成环境元素的导演(Director Agent)分工配合。前者负责角色的具体操作,后者随着探索推进持续引入新的环境交互,让整个虚拟空间具备自主演进的能力。

怎么跑起来与技术规格

该项目基于 Wan2.2 构建,采用因果预训练与 KV 缓存机制,通过切块(chunk-by-chunk)方式进行因果流式推理。蒸馏后的实时版本能够支持 720p 分辨率、60 帧每秒的连续视频流。

官方提供了 14B 和 1.3B 两种参数规模的权重。14B 版本画面细节更完整,1.3B 版本则注重更快的推理速度。权重已上传至 Hugging Face 和 ModelScope,完整模型文件总计约 86GB。

本地运行的门槛相对较高。官方提供的 480p 推理脚本中,14B causal-fast 模型需要 8 张 GPU 并行,1.3B causal-fast 模型则需要 4 张 GPU。代码基于 CC BY-NC-SA 4.0 许可证开源,仅供非商业用途使用。项目方明确表示不开源内部部署代码,建议开发者参考 SGLang 或 flashdreams 进行自行部署。如果不想本地折腾硬件,可以在 Reactor 和灵光平台上体验实时版本。

为什么重要

对于具身智能研究者和游戏探索团队来说,LingBot-World 2.0 补上了可交互世界模型里最缺的一块拼图。此前无论是 Google 的 Genie 3 还是其他前沿方案,大多处于闭源状态,且时长基本停留在分钟级。蚂蚁团队把小时级稳定渲染、实时推理与权重直接公开,给整个社区提供了一个高起点的实验底座。

我们认为,它的意义不仅在于画质和帧率,更在于证明了生成式视频可以脱离预先编程的 3D 引擎,直接依靠神经网络完成长时间可玩交互。尽管多卡运行的高门槛和非商用授权限制了它在消费级游戏中的落地,但它非常适合用作具身智能的仿真训练场,也给下一代程序化内容生成展示了可行的架构路径。

来源 (1)

  1. [1]
    github.com(在新标签页打开)原文github.com

每日 AI 内容精选