DeepMind 发布 SIMA 2：让 Gemini 在 3D 游戏中边玩边推理

玩游戏时如果队友是个 AI，你可能习惯了它像个脚本一样只听机械命令，稍微拐个弯就卡在墙角。Google DeepMind 显然不想只做个会按快捷键的 NPC。

DeepMind 公布了通用具身智能体 SIMA 2 的研究预览版。对比去年 3 月亮相的第一代，这次最大的变化是直接塞进了一个 Gemini 2.5 Flash-lite 大模型作为大脑。它不再只是死记硬背按键指令，而是能一边打游戏一边用文字跟玩家交代自己的意图，甚至通过自我试错来提高技术。

读得懂 Emoji，还能把挖矿经验搬去新游戏

初代 SIMA 虽然掌握了 600 多项跨游戏的基础技能，比如爬梯子、看地图，但面对复杂长任务时成功率只有 31%，远低于人类玩家的 71%。据 TechCrunch 报道，塞入 Gemini 后，SIMA 2 在复杂任务上的表现直接翻了一倍。

它现在能理解非常拐弯抹角的指令。比如你让它走向「熟透西红柿颜色的房子」，它会在后台推理出熟西红柿是红色的，然后主动在屏幕里找红房子。研究团队展示时还提到，就算玩家只发两个表情符号「🪓🌲」，它也能心领神会跑去伐木。

更厉害的是概念迁移。SIMA 2 面对从来没学过的游戏（比如维京生存游戏 ASKA 或 Minecraft 研究版 MineDojo）时，能把在其他游戏里学到的「挖矿」概念无缝套用到当下的「采集」操作上。

DeepMind 还做了一个极限测试：把自家能靠一张图或一句话实时生成 3D 世界的 Genie 3 模型拿来，现场生成一个从来没存在过的虚拟环境。SIMA 2 被丢进去后，很快就能自己辨认出长椅、树木和蝴蝶，并按照指令去互动。

让两个 AI 陪它在游戏里刷经验值

初代 SIMA 严重依赖几百个小时的人类游玩视频来打底。到了 SIMA 2，人类数据只作为起步的基础。

进入全新环境后，DeepMind 会安排另一个 Gemini 模型专门负责给它派发新任务，再配上一个打分模型给它的操作打分。SIMA 2 靠这种纯 AI 反馈的试错机制在游戏里自学，把踩坑和成功的经验再喂给自己下一代的训练，大大减少了对真人示范数据的依赖。

不过团队也坦白，SIMA 2 目前依然是个研究项目。为了保证低延迟交互，它现在的上下文窗口很短，记忆容量有限，遇到需要超长步骤反复验证的目标依然会犯糊涂，键鼠底层的精细微操也还有提升空间。目前它只对少数高校学者和游戏开发商开放预览。

为什么重要

我们认为，DeepMind 表面上在做游戏搭子，真正图谋的其实是具身智能和未来实体机器人的大脑。

对于游戏行业来说，现在的开放世界 NPC 大多依靠预设脚本，缺乏灵气。SIMA 2 这种只看屏幕像素、像人一样敲键盘鼠标的通用 Agent，如果未来普及，游戏厂商不需要单独给每个 NPC 写行为树，就能直接塞进去一个能交流、懂战术、甚至会陪你开荒的活人感队友。但这套方案目前极其依赖低延迟的模型推理，短期内普通玩家很难在本地游戏里玩上，算力成本依然是门槛。

而放在整个 AI 行业来看，SIMA 2 最聪明的地方是摆脱了对昂贵实体机器人硬件的依赖。机器人训练最大的瓶颈就是真实世界的数据太难收集、成本太高、试错容易把硬件摔坏。DeepMind 先用商业游戏和即时生成的 3D 世界作为练兵场，让 AI 在虚拟世界里先学会「观察环境、推理目标、规划动作」，甚至靠两个 AI 互相对练自我进化。

看起来，这种把大语言模型的高级推理能力和虚拟身体行动合二为一的做法，很可能会成为通用具身智能最快跑通的数据流水线。