DeepMind 釋出 Genie 4:可即時互動並原生生成聲音的世界模型
Google DeepMind 宣佈推出世界模擬模型 Genie 4。它不僅支援鍵盤與自然語言即時操控畫面,還首次原生同步生成環境音與角色對話,並引入 Gemini 負責多步驟因果推理。目前該模型僅面向受信任測試者開放研究預覽。
想像一下,你隨便敲幾句提示詞,一個能用鍵盤跑來跑去的 3D 虛擬世界立刻出現在螢幕上。更神的是,樹葉有風聲,海灘有浪花,迎面走來的路人還能張口跟你搭話。
這就是 Google DeepMind 在 10 月 27 日拿出的新東西:世界模擬模型 Genie 4。一年前它釋出 Genie 3 時,大家還在驚歎畫素級生成的場景居然能玩;到了第四代,DeepMind 直接把原生多模態音訊塞了進去。
鍵盤能走,張嘴能聊,還能隨時「改劇本」
以往的世界模型大多隻能悶頭吐畫面,但 Genie 4 是首個原生支援同步音訊的即時模型。環境裡的風聲、背景音樂,甚至是遊戲角色的即時對話,都是跟著畫面一起直接算出來的。
操作起來也很簡單。你可以直接用鍵盤的 WASD 鍵或者方向鍵控制角色移動、轉動鏡頭。玩到一半覺得不過癮,隨手打一行字,比如「突然開始下暴雨」或者「前面出現一個戴帽子的路人」,場景就會在保持連貫的前提下直接順著你的意思改變。
這背後其實是兩套系統的緊密配合。視覺部分由 Gemini Omni 提供真實世界的外觀與物理規律,比如空氣動力學碰撞;而在幕後,Gemini 3.8 Flash 或 Gemini 4 Argon 像個執行導演,一邊盯著即時畫面,一邊拆解多步驟任務。
在 DeepMind 展示的一個演示裡,完全由畫素虛擬出來的 Apptronik Apollo 機器人正和人類坐在桌前下跳棋。場景是虛構的,但棋局完全符合邏輯,因為 Gemini 4 Argon 正在左側即時推理每一步走法,再指引 Genie 4 把動作渲染出來。
目前 Genie 4 的穩定互動時長能維持兩分鐘左右,比上一代直接翻了一倍。
畫質驚豔,但它依然是個「半成品」
雖然演示讓人眼前一亮,但 DeepMind 自己也承認,模型現在還在很早期的實驗階段。
最明顯的問題是時間一長就容易「穿幫」。當模擬執行超過一兩分鐘,或者經過多次複雜的文字編輯後,場景裡的細節和物體永久性(比如回頭看剛才走過的路)就會出現漂移。文字渲染不清晰、精細物理碰撞失真、以及音訊準確度,目前都還在攻關中。
為了防範濫用,Genie 4 生成的所有影片和音訊都預設嵌入了 Google 的 SynthID 數字水印。目前它只對受信任的測試者開放,後續才會進入 Project Genie 供 Google AI Ultra 訂閱使用者以及 Gemini API 早期合作伙伴嚐鮮。
為什麼重要
世界模型這條賽道最近熱鬧得有點異常。Runway 兩個月前剛推出帶音訊的 GWM Worlds 2,李飛飛創立的 World Labs 被 AMD 收購,亞馬遜在傳接洽 Decart,Rivian 甚至直接把 Third Dimension 買回去做自動駕駛模擬。各家都在搶奪下一代模擬世界的技術話語權。
DeepMind 這一步走得相當聰明。很多團隊還在死磕單純的影片擴散模型,而 Google 選擇把大語言模型的邏輯推理和底層畫素渲染做成「混合世界模型」。說白了,讓擅長邏輯的 Gemini 負責因果規則,讓擅長視覺的 Genie 負責生成感知,這比單靠視覺模型去碰運氣猜物理規律要靠譜得多。
對普通創作者來說,這玩意兒短期內可能還做不出一款完整的 3A 遊戲,但它很快會顛覆前期的概念設計和影視預演。電影導演不用再等特效團隊搭簡陋的灰模,甚至只要一張老照片,就能在一分鐘內走進動態現場走位挑角度。
不過門檻依然擺在那裡。最高規格的訂閱費用、深不見底的算力開銷,再加上時長漂移問題,意味著它離真正落地的工具鏈還有一段距離。但毫無疑問,AI 生成內容正在從「靜態看個樂」,徹底轉向「能走進去互動」的新階段。
來源 (3)
- deepmind.google(在新分頁開啟)原文deepmind.google
- techcrunch.com(在新分頁開啟)報導techcrunch.com
- youtube.com(在新分頁開啟)報導youtube.com