MIRA 即時多人世界模型:單張 B200 跑 4 人聯機,無引擎純靠影片生成
研究團隊釋出互動式多人世界模型 MIRA,完全不依賴物理或渲染引擎,僅靠 50 億引數的擴散模型生成畫面。它由 1 萬小時對戰資料訓練而成,單張 B200 即可支援四人 2v2 即時操作與聯機,相關資料集和程式碼已開源。
想像一下,你和三個朋友連線開了一把《火箭聯盟》。四輛賽車在場上漂移、撞牆、頂球射門,螢幕上甚至會跳出進球提示。但這臺伺服器里根本沒有 Unreal 引擎,沒有物理碰撞演算法,也沒有任何 3D 建模。
支撐整個比賽的,是一個即時生成影片的 AI。你按一下鍵盤,它就在下一毫秒把車輪轉動後的畫面畫出來給你看。
這就是研究團隊剛剛開源的互動式多人世界模型 MIRA。它基於 50 億引數的擴散 Transformer,再搭上一個 6 億引數的影片編解碼器,只靠一張 B200 GPU,就能以 20 fps 的幀率同時生成四位玩家的獨立視角。
純靠「看錄影」學會的物理法則
MIRA 最讓人吃驚的地方,在於它完全跳過了傳統遊戲工業的那套底座。它沒有顯式的物理引擎,卻知道車速多快會撞碎對手、車身飛到空中怎麼翻滾,甚至還能精準記住每位玩家的氮氣存量,用光了就不讓你加速。
做到這一切,靠的是大約 1 萬小時的遊戲對戰資料。研究團隊讓高水平遊戲機器人 Nexto 自己跟自己打了無數場 2v2 比賽,記錄下四個第一視角的畫面和對應的按鍵流。這裡面沒有摻雜任何人類玩家的運算元據,遊戲的真實物理狀態也只用來做評估,模型從頭到尾見到的只有畫素和按鍵。
以往因果影片模型最頭疼的毛病是「跑著跑著就崩掉」,畫面會逐漸扭曲變形。但 MIRA 表現出了驚人的長程穩定性,可以一直執行而不發散。此外,作者在訓練中使用了動作丟棄技術,這讓它意外獲得了一個好玩的「自動駕駛」模式:鬆開鍵盤,AI 就會接管你的賽車,四臺 AI 在影片流裡互相對攻,看起來和真人打天梯沒什麼兩樣。
為什麼重要
我們認為,MIRA 的價值遠不止於做個好玩的聯機 Demo,它向外界展示了生成式世界模型在具身智慧上的真正潛力。
很多人會問,放著現成的遊戲引擎不用,費勁用 AI 模擬影片遊戲有什麼意義?研究團隊自己也說了:想玩遊戲,直接去玩《火箭聯盟》就好。這項研究的真正目標是物理 AI,比如自動駕駛和機器人。在真實世界裡收集碰撞資料不僅成本極高,而且極其危險,你不可能為了訓練自動駕駛演算法天天去撞車。
用高質量的遊戲資料先訓練世界模型,再在模型裡以低成本、零風險的方式驗證和訓練智慧體,是一條極具價效比的技術路線。MIRA 證明了即使面對四人高頻互動的複雜物理場景,小體量的擴散模型依然能建立起魯棒的環境推演能力。
當然,侷限也客觀存在。模型目前只支援 576p 解析度拆分給四個畫面,場景也侷限在三個球場內。但程式碼和資料集的完全開源,讓整個開源社群第一次能真正上手除錯多人世界模型,這種探索在未來一定會反哺到自動駕駛模擬和端到端機器人的訓練中去。
來源 (1)
- mira-wm.com(在新分頁開啟)原文mira-wm.com