NVIDIA 发布 Gamma World:支持多人协同互动,24 帧实时生成共享世界
NVIDIA 发布多智能体交互世界模型 Gamma World。它把过去单人控制的世界模型扩展到多玩家和多机器人场景,无需预设几何形状即可按各智能体动作以 24 FPS 实时生成共享环境与视角。这意味着未来游戏与机器人仿真可以直接在生成世界里跑。

过去一年里,生成式世界模型虽然很酷,但基本都像个单机游戏:屏幕前只有一个人输入指令,模型只根据这一个人的操作来预测下一帧画面。
只要多塞进来一个人,或者多放一台需要协同工作的机器人,整个世界就很容易崩溃——视角容易穿帮,不同角色的动作也会相互打架。
NVIDIA 发布了名为 Gamma World 的多智能体交互世界模型,直接把世界模型从「单人独角戏」带进了多人同台的时代。
它不需要提前用传统游戏引擎搭建任何 3D 几何模型,就能根据多个玩家或具身智能体的实时输入,以 24 FPS 的速度实时生成一致的共享环境与视角。
怎么让一群智能体不把世界玩散架
要在同一个画面里容纳多个独立做动作的智能体,最头疼的问题就是计算复杂度和身份混乱。
如果让所有智能体之间的视觉 token 彼此做全量交叉注意力计算,开销会随着人数增加呈平方级暴涨;而如果强行给每个位置分配固定的身份插槽,模型又会失去对称性,多来一个人就得重新训练。
Gamma World 拿出了两个非常精巧的数学解法。首先是名为 Simplex Rotary Agent Encoding 的智能体编码,它是 3D 旋转位置编码(RoPE)的无参数扩展,把每个智能体映射到旋转角空间的正则单纯形顶点上。
说白了,就是不用学任何固定槽位,也不管输入顺序谁先谁后,模型自然就能把不同角色区分开,保持置换等价。
其次是 Sparse Hub Attention。它用一组可学习的枢纽 token 来充当中介,跨智能体的交互不再需要所有人对所有人互相计算,把计算复杂度从二次方压到了随智能体数量线性增长。
为了跑出 24 帧每秒的实时流畅度,NVIDIA 还在底层基于 Cosmos-Predict2.5-2B 架构,把一个全上下文扩散教师模型蒸馏成带 KV 缓存的因果学生模型,按时间块依次生成画面。
测试结果显示,哪怕模型最初只针对两名玩家进行设定,它在不需要任何额外训练的情况下,就能直接泛化到四名玩家的复杂互动,动作可控性和多视角一致性都很稳定。
为什么重要
我们认为,Gamma World 最亮眼的地方在于抓住了交互式世界模型落地的最大死穴:真实世界永远不是只有一个人在动的。
无论是让两台机械臂协同搬运一个箱子,还是让几个玩家在同一个虚拟房间里捉迷藏,过去基于固定几何网格的传统物理引擎都非常沉重,而纯视频生成又缺乏多角色的连贯控制力。
NVIDIA 这次没有靠堆砌算力硬算全量注意力,而是用枢纽机制和单纯形编码把数学逻辑理顺,这种「省算力做架构」的做法非常聪明。
对开发者和具身智能团队来说,这意味着未来训练复杂协作机器人时,可能根本不需要先花大把时间在 Unity 或 Unreal 里一点点抠物理碰撞和网格,直接把多个智能体丢进生成世界里跑策略就够了。
不过,目前它展示的依然是最多四名玩家的小规模验证场景。如果场景扩展到几十个智能体、或者每个智能体需要超长周期的物理因果记忆时,蒸馏出的因果模型会不会出现逻辑漂移,依然有待真实测试验证。
来源 (1)
- arxiv.org(在新标签页打开)原文arxiv.org