跳到正文
IFAI

开源项目

开源 FPS 世界模型 SCOPE:支持 10 自由度手柄实时操控

首次发布 传播指数 48

研究团队开源了 FPS 交互式世界模型 SCOPE。它基于 Wan2.2 打造,支持移动与开火等 10 自由度控制,能将连续按键操作直接生成为连贯的游戏画面,并支持未知场景的零样本迁移。目前模型权重、代码和数据集均已在 GitHub 开源。

用 AI 生成一段枪战游戏视频已经不新鲜了,但过去你只能当个看客:画面里的主角往哪走、什么时候开枪,全凭扩散模型自由发挥。

现在,研究团队开源了一个叫 SCOPE 的交互式 FPS 世界模型。简单来说,你终于能拿着手柄,在 AI 现算出来的第一人称射击游戏里自己跑动和开火了。

整个项目基于 Wan2.2 的 50 亿参数图生视频模型(Wan2.2-TI2V-5B)改造而来。团队把模型权重、推理代码以及训练用的 CrossFPS 数据集全套开源在了 GitHub 和 Hugging Face 上。

准星里开枪,准星外看路

让 AI 实时听懂手柄指令,最大的难点在于 FPS 操作实在太复杂。玩家往往一边推摇杆走位,一边转视角瞄准,手上还在连按开火或换弹。

以往的世界模型把这些按键当成全局信号扔给画面,结果就是一开火整张屏幕跟着晃,背景瞬间变形。SCOPE 的解法很聪明:它在 Wan2.2 的 30 个 DiT 模块里分别插入了动作模块,做了一套「空间解耦」。

具体来说,手柄的双摇杆 4 轴连续移动和视线转向,走平滑的注意力机制去驱动整体画面的位移;而开火、换弹、跳跃等 6 个离散按键,则通过交叉注意力严格限制在武器和准星所在的局部区域。哪怕完全不用分割标签做标注,枪口剧烈后坐也不会带崩远处的走廊或建筑。

模型目前能输出 480×832 分辨率、20 FPS 的画面,单次生成 81 帧(约 4 秒)。如果显卡显存够大,也可以把帧数拉长到 161 帧。

喂了 7 款游戏,换到新游戏也能玩

为了教会模型什么是 FPS 规律,团队构建了 CrossFPS 数据集,包含 7 款不同射击游戏的 6.9 万个视频片段,每一帧都严格对齐了 10 自由度的操作数据。

在测试中,面对复杂的复合操作,SCOPE 展现出了断层级的优势。比如「一边移动一边开火」,以往的矩阵游戏类模型响应率往往只有个位数,SCOPE 做到了 76%;「开镜同时射击」的响应率达到 82%,复合操作平均成功率超过 71%。

更值得一提的是它的零样本泛化能力。只给它一张《黑神话:悟空》《原神》或《双人成行》的静态游戏截图,输入手柄移动和射击指令,它就能凭空推演出符合对应视角的 FPS 操作画面,不需要针对这些游戏单独微调。

为什么重要

在各种世界模型还在比拼谁生成的短片画质更细腻时,SCOPE 往前迈了一大步:它把世界模型从「自动播片」推向了「可交互原型」。

对独立游戏开发者和策划来说,它提供了一种极低成本的验证手段。在传统工作流里,搭建一个能跑、能看、能开火的关卡原型,需要美术建模、绑骨骼、配控制器脚本。现在你只需要丢一张概念图,接上手柄,几秒钟就能体验第一人称视角的实际观感,甚至用来测试关卡动线。

对技术本身而言,SCOPE 证明了在开源大模型底座上做局部动作控制是可行的。它没有推倒重来搞一套全新的大架构,而是靠巧妙的空间解耦和零初始化残差,冻结主模型权重来训练外挂模块,这种工程思路非常务实。

不过就目前来看,它离真正代替游戏引擎还有距离。单次生成几秒、480P 的分辨率以及必须依赖高端算力的门槛,注定它现在还是个前沿原型工具,延迟也达不到真电竞游戏的毫秒级响应。但我们认为,它给未来原生 AI 驱动的互动娱乐趟出了一条极具参考价值的路。

来源 (2)

  1. [1]
  2. [2]
    z2tong.github.io(在新标签页打开)报道z2tong.github.io

每日 AI 内容精选