Google DeepMind 推出 SIMA：能聽懂人話、在 3D 遊戲裡幫你幹活的通用 AI

過去我們看 AI 打遊戲，要麼是 AlphaGo 下圍棋，要麼是 AlphaStar 靠毫秒級微操在星際爭霸裡虐職業選手。那些 AI 雖然厲害，但本質上都是刷分機器，換個地圖可能就成了傻子。

Google DeepMind 換了一條完全不同的路，公佈了一個叫 SIMA 的 AI 專案。它的全稱是可擴充套件可指導多世界智慧體，目標不是通關或打破紀錄，而是當一個能聽懂人話、在各種 3D 虛擬世界裡給你打下手的通用夥伴。

像人一樣看螢幕、敲鍵盤

SIMA 最有意思的地方在於它的互動介面。它不需要遊戲廠商開放底層原始碼，也不用給它專門寫定製 API。

它感知世界的方式和人類玩家一模一樣：眼睛看螢幕傳出來的即時畫面，耳朵聽人類給的自然語言指令，輸出端則是鍵盤和滑鼠訊號。

為了訓練 SIMA，DeepMind 找了 8 家遊戲開發商合作，直接把它丟進了 9 款風格迥異的商業遊戲裡，包括 Hello Games 的《無人深空》、Tuxedo Labs 的《拆遷》，以及《Valheim》《幸福工廠》《模擬山羊 3》等。

此外，研究團隊還在 Unity 裡搭了 4 個實驗環境。其中一個叫建築實驗室，專門讓 AI 用積木搭雕塑，測試它對 3D 物理世界的空間理解和操作能力。

訓練過程也很接地氣。研究人員找來兩名人類玩家聯機，一個看著畫面發指令，另一個照著操作，把全程的畫面、語言和按鍵記錄下來。或者讓玩家自由玩耍，回看錄影時補上剛才每一步的操作指令。

目前的 SIMA 掌握了大約 600 項基礎技能，像轉彎、爬梯子、開啟選單看地圖這類任務，只要是 10 秒左右能搞定的動作，它基本都能照做。

通才打敗了專才

如果只在一個遊戲裡練，AI 充其量是個專職代練。DeepMind 做測試時發現了一個非常關鍵的現象：通才不僅學得快，還打敗了專才。

在 9 款遊戲裡聯合訓練出來的 SIMA，在各項測試裡的表現明顯好過那些只針對單一遊戲死磕的專用模型。

更讓人意外的是，把 SIMA 丟進一個它從來沒見過的全新遊戲裡，它的基礎表現幾乎能打平那些專門針對該遊戲訓練過的 AI。這意味著它真正學會了在三維世界裡通用的行動邏輯，而不是死記硬背某張地圖的程式碼。

語言理解也是它的核心驅動力。DeepMind 做過對照實驗，如果不給指令，SIMA 就會像個夢遊玩家一樣漫無目的地四處亂晃，或者本能地去挖礦採資源，完全沒有目標感。

不過它現在還遠談不上聰明。它能聽懂走過去開門，但如果你對它說去搜集木頭並建個營地，這種需要長線規劃、拆解成幾十個子任務的高難度指令，它目前還接不住。

為什麼重要

以前的大語言模型很懂世界，肚子裡裝滿了全人類的百科知識，邏輯方案也寫得頭頭是道，但它們沒有手腳，只能停留在對話方塊裡動嘴皮子。

SIMA 的突破在於給大模型接上了一雙看虛擬世界的眼睛和一雙敲鍵盤的手。遊戲世界物理規則嚴格、畫面即時反饋，是低成本訓練具身智慧最好的試驗場。

對普通玩家來說，現在它還不能當你通關的高階隊友，但已經有了賽博寵物的雛形。未來如果你在開放世界遊戲裡懶得跑圖撿垃圾，或者缺一個幫你搬磚造房子的搭子，這種 agent 完全可以直接塞進現有遊戲裡幹粗活。

對行業而言，這一步走得極其聰明。DeepMind 沒有陷入各家遊戲私有協議的泥潭，直接鎖定螢幕輸入和鍵鼠輸出，讓它理論上相容過去和未來的任何一款 3D 遊戲，省去了巨大的工程適配成本。

但隱患也很明顯。只靠 10 秒左右的短程反應，離真正理解複雜任務還有巨大的鴻溝。如果 AI 無法形成持久記憶和高階推理，它在開放世界裡就永遠只是個聽一句動一下的木偶。它能不能從遊戲裡的搬磚工，跨越到幫人類操作電腦軟體、甚至控制物理世界的機器人，這才是接下來最值得看的硬仗。