Google DeepMind 推出 SIMA：能听懂人话、在 3D 游戏里帮你干活的通用 AI

过去我们看 AI 打游戏，要么是 AlphaGo 下围棋，要么是 AlphaStar 靠毫秒级微操在星际争霸里虐职业选手。那些 AI 虽然厉害，但本质上都是刷分机器，换个地图可能就成了傻子。

Google DeepMind 换了一条完全不同的路，公布了一个叫 SIMA 的 AI 项目。它的全称是可扩展可指导多世界智能体，目标不是通关或打破纪录，而是当一个能听懂人话、在各种 3D 虚拟世界里给你打下手的通用伙伴。

像人一样看屏幕、敲键盘

SIMA 最有意思的地方在于它的交互界面。它不需要游戏厂商开放底层源代码，也不用给它专门写定制 API。

它感知世界的方式和人类玩家一模一样：眼睛看屏幕传出来的实时画面，耳朵听人类给的自然语言指令，输出端则是键盘和鼠标信号。

为了训练 SIMA，DeepMind 找了 8 家游戏开发商合作，直接把它丢进了 9 款风格迥异的商业游戏里，包括 Hello Games 的《无人深空》、Tuxedo Labs 的《拆迁》，以及《Valheim》《幸福工厂》《模拟山羊 3》等。

此外，研究团队还在 Unity 里搭了 4 个实验环境。其中一个叫建筑实验室，专门让 AI 用积木搭雕塑，测试它对 3D 物理世界的空间理解和操作能力。

训练过程也很接地气。研究人员找来两名人类玩家联机，一个看着画面发指令，另一个照着操作，把全程的画面、语言和按键记录下来。或者让玩家自由玩耍，回看录像时补上刚才每一步的操作指令。

目前的 SIMA 掌握了大约 600 项基础技能，像转弯、爬梯子、打开菜单看地图这类任务，只要是 10 秒左右能搞定的动作，它基本都能照做。

通才打败了专才

如果只在一个游戏里练，AI 充其量是个专职代练。DeepMind 做测试时发现了一个非常关键的现象：通才不仅学得快，还打败了专才。

在 9 款游戏里联合训练出来的 SIMA，在各项测试里的表现明显好过那些只针对单一游戏死磕的专用模型。

更让人意外的是，把 SIMA 丢进一个它从来没见过的全新游戏里，它的基础表现几乎能打平那些专门针对该游戏训练过的 AI。这意味着它真正学会了在三维世界里通用的行动逻辑，而不是死记硬背某张地图的代码。

语言理解也是它的核心驱动力。DeepMind 做过对照实验，如果不给指令，SIMA 就会像个梦游玩家一样漫无目的地四处乱晃，或者本能地去挖矿采资源，完全没有目标感。

不过它现在还远谈不上聪明。它能听懂走过去开门，但如果你对它说去搜集木头并建个营地，这种需要长线规划、拆解成几十个子任务的高难度指令，它目前还接不住。

为什么重要

以前的大语言模型很懂世界，肚子里装满了全人类的百科知识，逻辑方案也写得头头是道，但它们没有手脚，只能停留在对话框里动嘴皮子。

SIMA 的突破在于给大模型接上了一双看虚拟世界的眼睛和一双敲键盘的手。游戏世界物理规则严格、画面实时反馈，是低成本训练具身智能最好的试验场。

对普通玩家来说，现在它还不能当你通关的高级队友，但已经有了赛博宠物的雏形。未来如果你在开放世界游戏里懒得跑图捡垃圾，或者缺一个帮你搬砖造房子的搭子，这种 agent 完全可以直接塞进现有游戏里干粗活。

对行业而言，这一步走得极其聪明。DeepMind 没有陷入各家游戏私有协议的泥潭，直接锁定屏幕输入和键鼠输出，让它理论上兼容过去和未来的任何一款 3D 游戏，省去了巨大的工程适配成本。

但隐患也很明显。只靠 10 秒左右的短程反应，离真正理解复杂任务还有巨大的鸿沟。如果 AI 无法形成持久记忆和高阶推理，它在开放世界里就永远只是个听一句动一下的木偶。它能不能从游戏里的搬砖工，跨越到帮人类操作电脑软件、甚至控制物理世界的机器人，这才是接下来最值得看的硬仗。