跳到正文
IFAI

大模型

Google DeepMind 釋出 Genie 3:輸一句話,即時生成可互動世界

首次發布 傳播指數 60

Google DeepMind 釋出通用世界模型 Genie 3。輸入文字描述後,它能以 720p、24 幀每秒即時生成可自由探索的動態環境,並維持數分鐘的一致性。使用者還能隨時追加文本修改天氣或道具。目前它僅作為研究預覽版向少數研究者和創作者開放。

圖:deepmind.google

過去玩 3D 遊戲,哪怕畫質再逼真,背後都得靠龐大的遊戲引擎寫死每一行物理規則。如果現在只要給一句話,AI 就能憑空算出一個能即時跑動、隨意互動的 3D 世界呢?

Google DeepMind 在 8 月 5 日釋出了通用世界模型 Genie 3。只要輸入一段文本提示詞,它就能即時生成 720p 解析度、每秒 24 幀的動態互動環境,而且連續互動幾分鐘內畫面都不會崩塌。

從看影片到親自走進去

和去年只能堅持 10 到 20 秒的 Genie 2 相比,Genie 3 最明顯的飛躍是時長和穩定性。它能維持數分鐘的環境連貫性,甚至能記住一分鐘前你去過的地方,回頭看時場景依然在那兒。

它不依賴 NeRF、高斯潑濺或者現成的 3D 建模,也沒有寫死的物理引擎。DeepMind 研究總監 Shlomi Fruchter 解釋,Genie 3 採用自迴歸架構,每次基於使用者的操作和過去的軌跡逐幀預測下一幀,物理規律是模型在超長序列推演中自己「悟」出來的。

更有意思的是「可提示世界事件」。在漫步的同時,你可以隨時打字介入,比如下一場暴雨、讓平地冒出新障礙,或者塞進新角色。DeepMind 研究員 Jakob Bauer 還演示了另一個玩法:直接把影片模型 Veo 3 生成的無人機航拍片段扔給 Genie 3,然後在半空中突然接管控制權,直接飛進影片裡自由探索。

具身智慧的「精神時光屋」

DeepMind 費這麼大勁做虛擬世界,真正的目標其實不是做遊戲,而是為了訓具身智慧體。

在測試中,他們把通才虛擬智慧體 SIMA 放進了 Genie 3 捏出來的倉庫世界裡。研究員給 SIMA 下達了走近綠色垃圾壓縮機、走向紅色叉車等任務,SIMA 完全靠輸出導航動作在 Genie 3 裡探索,最終順利完成了這些目標。

不過,目前的 Genie 3 依然是個侷限明顯的早期研究預覽版。TechCrunch 提到,在一段滑雪演示裡,雪花並沒有隨著滑雪者產生真實的物理飛濺。此外,智慧體能執行的動作空間還很窄,多智慧體之間的複雜互動做不好,現實地理位置還原不準,畫面文字也很難看清,而且幾分鐘的時長離機器人訓練動輒幾千小時的需求還有很大距離。

為什麼重要

我們認為,Genie 3 最聰明的突破,在於它徹底把世界模型從「靜態預渲染影片」推進到了「低延遲即時可玩」。在過去,生成影片是單向輸出,而具身智慧需要的是高頻互動反饋。Genie 3 跑通了 24fps 的互動閉環,等於給具身智慧開闢了一個低成本、無限題材的訓練沙盒。

對行業來說,它給機器人和自動駕駛的資料瓶頸開了一劑猛藥。現實世界採集邊角案例既昂貴又危險,如果能用文本隨時生成罕見天氣、突發路況讓 AI 去撞牆試錯,訓練效率會呈指數級提升。DeepMind 研究員 Jack Parker-Holder 提到的具身智慧 AlphaGo「第 37 手」時刻,或許就藏在這樣的模擬器裡。

但普通開發者現在還不用著急。目前它只對極少數研究者和創作者開放預覽,幾分鐘的記憶限制也遠不足以支撐工業級訓練。它眼下更像是一個概念驗證,證明了純靠影片生成架構硬算出來的動態世界,真的能具備基礎物理直覺。接下來就看它能不能把生成時長從分鐘級拉長到小時級了。

來源 (3)

  1. [1]
    deepmind.google(在新分頁開啟)原文deepmind.google
  2. [2]
    x.com(在新分頁開啟)討論x.com
  3. [3]
    techcrunch.com(在新分頁開啟)報導techcrunch.com

每日 AI 內容精選