開源 FPS 世界模型 SCOPE:支援 10 自由度手柄即時操控
研究團隊開源了 FPS 互動式世界模型 SCOPE。它基於 Wan2.2 打造,支援移動與開火等 10 自由度控制,能將連續按鍵操作直接生成為連貫的遊戲畫面,並支援未知場景的零樣本遷移。目前模型權重、程式碼和資料集均已在 GitHub 開源。
用 AI 生成一段槍戰遊戲影片已經不新鮮了,但過去你只能當個看客:畫面裡的主角往哪走、什麼時候開槍,全憑擴散模型自由發揮。
現在,研究團隊開源了一個叫 SCOPE 的互動式 FPS 世界模型。簡單來說,你終於能拿著手柄,在 AI 現算出來的第一人稱射擊遊戲裡自己跑動和開火了。
整個專案基於 Wan2.2 的 50 億引數圖生影片模型(Wan2.2-TI2V-5B)改造而來。團隊把模型權重、推理程式碼以及訓練用的 CrossFPS 資料集全套開源在了 GitHub 和 Hugging Face 上。
準星裡開槍,準星外看路
讓 AI 即時聽懂手柄指令,最大的難點在於 FPS 操作實在太複雜。玩家往往一邊推搖桿走位,一邊轉視角瞄準,手上還在連按開火或換彈。
以往的世界模型把這些按鍵當成全域性訊號扔給畫面,結果就是一開火整張螢幕跟著晃,背景瞬間變形。SCOPE 的解法很聰明:它在 Wan2.2 的 30 個 DiT 模組裡分別插入了動作模組,做了一套「空間解耦」。
具體來說,手柄的雙搖桿 4 軸連續移動和視線轉向,走平滑的注意力機制去驅動整體畫面的位移;而開火、換彈、跳躍等 6 個離散按鍵,則通過交叉注意力嚴格限制在武器和準星所在的區域性區域。哪怕完全不用分割標籤做標註,槍口劇烈後坐也不會帶崩遠處的走廊或建築。
模型目前能輸出 480×832 解析度、20 FPS 的畫面,單次生成 81 幀(約 4 秒)。如果顯示卡視訊記憶體夠大,也可以把幀數拉長到 161 幀。
餵了 7 款遊戲,換到新遊戲也能玩
為了教會模型什麼是 FPS 規律,團隊構建了 CrossFPS 資料集,包含 7 款不同射擊遊戲的 6.9 萬個影片片段,每一幀都嚴格對齊了 10 自由度的運算元據。
在測試中,面對複雜的複合操作,SCOPE 展現出了斷層級的優勢。比如「一邊移動一邊開火」,以往的矩陣遊戲類模型響應率往往只有個位數,SCOPE 做到了 76%;「開鏡同時射擊」的響應率達到 82%,複合操作平均成功率超過 71%。
更值得一提的是它的零樣本泛化能力。只給它一張《黑神話:悟空》《原神》或《雙人成行》的靜態遊戲截圖,輸入手柄移動和射擊指令,它就能憑空推演出符合對應視角的 FPS 操作畫面,不需要針對這些遊戲單獨微調。
為什麼重要
在各種世界模型還在比拼誰生成的短片畫質更細膩時,SCOPE 往前邁了一大步:它把世界模型從「自動播片」推向了「可互動原型」。
對獨立遊戲開發者和策劃來說,它提供了一種極低成本的驗證手段。在傳統工作流裡,搭建一個能跑、能看、能開火的關卡原型,需要美術建模、綁骨骼、配控制器指令碼。現在你只需要丟一張概念圖,接上手柄,幾秒鐘就能體驗第一人稱視角的實際觀感,甚至用來測試關卡動線。
對技術本身而言,SCOPE 證明了在開源大模型底座上做區域性動作控制是可行的。它沒有推倒重來搞一套全新的大架構,而是靠巧妙的空間解耦和零初始化殘差,凍結主模型權重來訓練外掛模組,這種工程思路非常務實。
不過就目前來看,它離真正代替遊戲引擎還有距離。單次生成幾秒、480P 的解析度以及必須依賴高階算力的門檻,註定它現在還是個前沿原型工具,延遲也達不到真電競遊戲的毫秒級響應。但我們認為,它給未來原生 AI 驅動的互動娛樂趟出了一條極具參考價值的路。
來源 (2)
- github.com(在新分頁開啟)原文github.com
- z2tong.github.io(在新分頁開啟)報導z2tong.github.io