跳到正文
IFAI

开源项目

MIRA 实时多人世界模型:单张 B200 跑 4 人联机,无引擎纯靠视频生成

首次发布 传播指数 48

研究团队发布交互式多人世界模型 MIRA,完全不依赖物理或渲染引擎,仅靠 50 亿参数的扩散模型生成画面。它由 1 万小时对战数据训练而成,单张 B200 即可支持四人 2v2 实时操作与联机,相关数据集和代码已开源。

图:mira-wm.com

想象一下,你和三个朋友连线开了一把《火箭联盟》。四辆赛车在场上漂移、撞墙、顶球射门,屏幕上甚至会跳出进球提示。但这台服务器里根本没有 Unreal 引擎,没有物理碰撞算法,也没有任何 3D 建模。

支撑整个比赛的,是一个实时生成视频的 AI。你按一下键盘,它就在下一毫秒把车轮转动后的画面画出来给你看。

这就是研究团队刚刚开源的交互式多人世界模型 MIRA。它基于 50 亿参数的扩散 Transformer,再搭上一个 6 亿参数的视频编解码器,只靠一张 B200 GPU,就能以 20 fps 的帧率同时生成四位玩家的独立视角。

纯靠「看录像」学会的物理法则

MIRA 最让人吃惊的地方,在于它完全跳过了传统游戏工业的那套底座。它没有显式的物理引擎,却知道车速多快会撞碎对手、车身飞到空中怎么翻滚,甚至还能精准记住每位玩家的氮气存量,用光了就不让你加速。

做到这一切,靠的是大约 1 万小时的游戏对战数据。研究团队让高水平游戏机器人 Nexto 自己跟自己打了无数场 2v2 比赛,记录下四个第一视角的画面和对应的按键流。这里面没有掺杂任何人类玩家的操作数据,游戏的真实物理状态也只用来做评估,模型从头到尾见到的只有像素和按键。

以往因果视频模型最头疼的毛病是「跑着跑着就崩掉」,画面会逐渐扭曲变形。但 MIRA 表现出了惊人的长程稳定性,可以一直运行而不发散。此外,作者在训练中使用了动作丢弃技术,这让它意外获得了一个好玩的「自动驾驶」模式:松开键盘,AI 就会接管你的赛车,四台 AI 在视频流里互相对攻,看起来和真人打天梯没什么两样。

为什么重要

我们认为,MIRA 的价值远不止于做个好玩的联机 Demo,它向外界展示了生成式世界模型在具身智能上的真正潜力。

很多人会问,放着现成的游戏引擎不用,费劲用 AI 模拟视频游戏有什么意义?研究团队自己也说了:想玩游戏,直接去玩《火箭联盟》就好。这项研究的真正目标是物理 AI,比如自动驾驶和机器人。在真实世界里收集碰撞数据不仅成本极高,而且极其危险,你不可能为了训练自动驾驶算法天天去撞车。

用高质量的游戏数据先训练世界模型,再在模型里以低成本、零风险的方式验证和训练智能体,是一条极具性价比的技术路线。MIRA 证明了即使面对四人高频交互的复杂物理场景,小体量的扩散模型依然能建立起鲁棒的环境推演能力。

当然,局限也客观存在。模型目前只支持 576p 分辨率拆分给四个画面,场景也局限在三个球场内。但代码和数据集的完全开源,让整个开源社区第一次能真正上手调试多人世界模型,这种探索在未来一定会反哺到自动驾驶仿真和端到端机器人的训练中去。

来源 (1)

  1. [1]

每日 AI 内容精选