DeepMind 釋出 SIMA 2：讓 Gemini 在 3D 遊戲中邊玩邊推理

玩遊戲時如果隊友是個 AI，你可能習慣了它像個指令碼一樣只聽機械命令，稍微拐個彎就卡在牆角。Google DeepMind 顯然不想只做個會按快捷鍵的 NPC。

DeepMind 公佈了通用具身智慧體 SIMA 2 的研究預覽版。對比去年 3 月亮相的第一代，這次最大的變化是直接塞進了一個 Gemini 2.5 Flash-lite 大模型作為大腦。它不再只是死記硬背按鍵指令，而是能一邊打遊戲一邊用文字跟玩家交代自己的意圖，甚至通過自我試錯來提高技術。

讀得懂 Emoji，還能把挖礦經驗搬去新遊戲

初代 SIMA 雖然掌握了 600 多項跨遊戲的基礎技能，比如爬梯子、看地圖，但面對複雜長任務時成功率只有 31%，遠低於人類玩家的 71%。據 TechCrunch 報道，塞入 Gemini 後，SIMA 2 在複雜任務上的表現直接翻了一倍。

它現在能理解非常拐彎抹角的指令。比如你讓它走向「熟透西紅柿顏色的房子」，它會在後臺推理出熟西紅柿是紅色的，然後主動在螢幕裡找紅房子。研究團隊展示時還提到，就算玩家只發兩個表情符號「🪓🌲」，它也能心領神會跑去伐木。

更厲害的是概念遷移。SIMA 2 面對從來沒學過的遊戲（比如維京生存遊戲 ASKA 或 Minecraft 研究版 MineDojo）時，能把在其他遊戲裡學到的「挖礦」概念無縫套用到當下的「採集」操作上。

DeepMind 還做了一個極限測試：把自家能靠一張圖或一句話即時生成 3D 世界的 Genie 3 模型拿來，現場生成一個從來沒存在過的虛擬環境。SIMA 2 被丟進去後，很快就能自己辨認出長椅、樹木和蝴蝶，並按照指令去互動。

讓兩個 AI 陪它在遊戲裡刷經驗值

初代 SIMA 嚴重依賴幾百個小時的人類遊玩影片來打底。到了 SIMA 2，人類資料只作為起步的基礎。

進入全新環境後，DeepMind 會安排另一個 Gemini 模型專門負責給它派發新任務，再配上一個打分模型給它的操作打分。SIMA 2 靠這種純 AI 反饋的試錯機制在遊戲裡自學，把踩坑和成功的經驗再餵給自己下一代的訓練，大大減少了對真人示範資料的依賴。

不過團隊也坦白，SIMA 2 目前依然是個研究專案。為了保證低延遲互動，它現在的上下文視窗很短，記憶容量有限，遇到需要超長步驟反覆驗證的目標依然會犯糊塗，鍵鼠底層的精細微操也還有提升空間。目前它只對少數高校學者和遊戲開發商開放預覽。

為什麼重要

我們認為，DeepMind 表面上在做遊戲搭子，真正圖謀的其實是具身智慧和未來實體機器人的大腦。

對於遊戲行業來說，現在的開放世界 NPC 大多依靠預設指令碼，缺乏靈氣。SIMA 2 這種只看螢幕畫素、像人一樣敲鍵盤滑鼠的通用 Agent，如果未來普及，遊戲廠商不需要單獨給每個 NPC 寫行為樹，就能直接塞進去一個能交流、懂戰術、甚至會陪你開荒的活人感隊友。但這套方案目前極其依賴低延遲的模型推理，短期內普通玩家很難在本地遊戲裡玩上，算力成本依然是門檻。

而放在整個 AI 行業來看，SIMA 2 最聰明的地方是擺脫了對昂貴實體機器人硬體的依賴。機器人訓練最大的瓶頸就是真實世界的資料太難收集、成本太高、試錯容易把硬體摔壞。DeepMind 先用商業遊戲和即時生成的 3D 世界作為練兵場，讓 AI 在虛擬世界裡先學會「觀察環境、推理目標、規劃動作」，甚至靠兩個 AI 互相對練自我進化。

看起來，這種把大語言模型的高階推理能力和虛擬身體行動合二為一的做法，很可能會成為通用具身智慧最快跑通的資料流水線。