DeepMind 釋出 Genie 2：一張圖生成可玩 3D 世界，鍵鼠直接操控

如果給你一張畫，你能直接拿著鍵盤和滑鼠走進去，那會是什麼體驗？以前這聽起來像奇幻小說，但 Google DeepMind 剛剛把這件事變成了現實。

Google DeepMind 團隊公佈了全新的大規模基礎世界模型 Genie 2。你只需要餵給它一張靜態圖片，它就能即時生成一個可互動、可遊玩的 3D 虛擬世界，支援人類或者 AI 智慧體用鍵盤和滑鼠即時操控。

從 2D 畫素跳進真實的 3D 空間

今年早些時候的第一代 Genie 只能生成簡單的 2D 橫版闖關場景，而這次的 Genie 2 直接跨進了 3D 領域。它不僅能生成第一人稱視角，還支援等軸俯視視角和第三人稱駕駛視角。

技術底層上，Genie 2 是一個在大規模影片資料集上訓練出來的自迴歸潛在擴散模型。影片畫面經過自編碼器處理後，潛在幀被送入一個帶有因果掩碼的大型 Transformer 動力學模型，就像大語言模型預測下一個詞一樣，逐幀預測接下來的畫面。

最讓人驚訝的是它通過看影片自己悟出來的物理規律和互動常識。在演示中，Genie 2 知道怎麼模擬重力、水流、煙霧、直射光和反射，還能處理複雜的物體互動，比如開門、打爆氣球和引爆油桶。

它甚至具備長程記憶能力。當你操控角色往前走、把背後的房子甩出視野之後，只要你轉過身，Genie 2 還能準確地把剛才的房子再畫出來。目前它生成一致世界的時間最長可以達到 1 分鐘，大多數演示保持在 10 到 20 秒。

初始畫面的來源也很靈活，你可以用 Imagen 3 文生圖工具畫一張，也可以直接上傳真實照片或者畫師的概念草圖。只要起始畫面一樣，玩家按下不同的按鍵，Genie 2 就會分化出完全不同的世界走向。

DeepMind 還把他們之前的通用遊戲智慧體 SIMA 放進了 Genie 2 裡。研究人員讓 Genie 2 生成一個有紅門和藍門的未知房間，再通過自然語言讓 SIMA 走過去開門，以此來測試智慧體在沒見過的環境裡的應對能力。

為什麼重要

我們認為，Genie 2 最大的價值不是做一個供人消遣的玩具，而是給具身智慧找到了一條低成本的資料飛輪路線。

過去訓練具身智慧和機器人最大的痛點就是環境匱乏。要麼靠人工在商業遊戲引擎裡一行行程式碼搭場景，成本高且多樣性有限；要麼直接在現實世界跑，不僅危險還容易摔壞硬體。Genie 2 的聰明之處在於，它讓模型自己變成了無限生成的虛擬練兵場，只要用文本描述就能源源不斷創造出訓練關卡。

對遊戲和創意行業來說，它也是一個門檻極低的快速原型工具。概念設計師畫好一張場景草圖，不用等程式設計師建模型、寫物理碰撞，直接就能戴上鍵鼠進去感受一下空間比例和氛圍。

不過，現在大家還不需要把它當成 Unity 或虛幻引擎的替代品。Genie 2 目前最長只能維持 1 分鐘的一致性，時間一長畫面和邏輯難免會變形飄忽，目前想要真正做出一款完整的可玩遊戲還差得很遠。但無論如何，DeepMind 已經把世界模型從紙上談兵拉進了可互動的現實，也給 OpenAI 等對手在影片生成的終局競爭上提了個醒。