跳到正文
IFAI

AIGC

NVIDIA 釋出 Gamma World:支援多人協同互動,24 幀即時生成共享世界

首次發布 傳播指數 41

NVIDIA 釋出多智慧體互動世界模型 Gamma World。它把過去單人控制的世界模型擴充套件到多玩家和多機器人場景,無需預設幾何形狀即可按各智慧體動作以 24 FPS 即時生成共享環境與視角。這意味著未來遊戲與機器人模擬可以直接在生成世界裡跑。

NVIDIA 釋出 Gamma World:支援多人協同互動,24 幀即時生成共享世界
圖:arxiv.org

過去一年裡,生成式世界模型雖然很酷,但基本都像個單機遊戲:螢幕前只有一個人輸入指令,模型只根據這一個人的操作來預測下一幀畫面。

只要多塞進來一個人,或者多放一臺需要協同工作的機器人,整個世界就很容易崩潰——視角容易穿幫,不同角色的動作也會相互打架。

NVIDIA 釋出了名為 Gamma World 的多智慧體互動世界模型,直接把世界模型從「單人獨角戲」帶進了多人同臺的時代。

它不需要提前用傳統遊戲引擎搭建任何 3D 幾何模型,就能根據多個玩家或具身智慧體的即時輸入,以 24 FPS 的速度即時生成一致的共享環境與視角。

怎麼讓一群智慧體不把世界玩散架

要在同一個畫面裡容納多個獨立做動作的智慧體,最頭疼的問題就是計算複雜度和身份混亂。

如果讓所有智慧體之間的視覺 token 彼此做全量交叉注意力計算,開銷會隨著人數增加呈平方級暴漲;而如果強行給每個位置分配固定的身份插槽,模型又會失去對稱性,多來一個人就得重新訓練。

Gamma World 拿出了兩個非常精巧的數學解法。首先是名為 Simplex Rotary Agent Encoding 的智慧體編碼,它是 3D 旋轉位置編碼(RoPE)的無引數擴充套件,把每個智慧體對映到旋轉角空間的正則單純形頂點上。

說白了,就是不用學任何固定槽位,也不管輸入順序誰先誰後,模型自然就能把不同角色區分開,保持置換等價。

其次是 Sparse Hub Attention。它用一組可學習的樞紐 token 來充當中介,跨智慧體的互動不再需要所有人對所有人互相計算,把計算複雜度從二次方壓到了隨智慧體數量線性增長。

為了跑出 24 幀每秒的即時流暢度,NVIDIA 還在底層基於 Cosmos-Predict2.5-2B 架構,把一個全上下文擴散教師模型蒸餾成帶 KV 快取的因果學生模型,按時間塊依次生成畫面。

測試結果顯示,哪怕模型最初只針對兩名玩家進行設定,它在不需要任何額外訓練的情況下,就能直接泛化到四名玩家的複雜互動,動作可控性和多視角一致性都很穩定。

為什麼重要

我們認為,Gamma World 最亮眼的地方在於抓住了互動式世界模型落地的最大死穴:真實世界永遠不是隻有一個人在動的。

無論是讓兩臺機械臂協同搬運一個箱子,還是讓幾個玩家在同一個虛擬房間裡捉迷藏,過去基於固定幾何網格的傳統物理引擎都非常沉重,而純影片生成又缺乏多角色的連貫控制力。

NVIDIA 這次沒有靠堆砌算力硬算全量注意力,而是用樞紐機制和單純形編碼把數學邏輯理順,這種「省算力做架構」的做法非常聰明。

對開發者和具身智慧團隊來說,這意味著未來訓練複雜協作機器人時,可能根本不需要先花大把時間在 Unity 或 Unreal 裡一點點摳物理碰撞和網格,直接把多個智慧體丟進生成世界裡跑策略就夠了。

不過,目前它展示的依然是最多四名玩家的小規模驗證場景。如果場景擴充套件到幾十個智慧體、或者每個智慧體需要超長週期的物理因果記憶時,蒸餾出的因果模型會不會出現邏輯漂移,依然有待真實測試驗證。

來源 (1)

  1. [1]

每日 AI 內容精選