Code World Model 開源:用程式設計智慧體當大腦,讓 AI 真正記住世界狀態
研究人員釋出並開源 Code World Model 框架。它把世界演化與畫面生成拆開,由程式設計智慧體推理事件並寫程式碼維護持久世界狀態,再由微調後的影片模型 MiniMax-H3 渲染畫面。最值得關注的是,這讓 AI 生成的世界能夠跨長週期記住物體與規則,不再只是預測下一幀畫素。
現在的影片生成模型看起來越來越逼真,但只要你讓它生成一個可以互動的世界,很快就會露餡。角色剛走過一扇門,轉個身門就憑空消失了;地上撿起一把鑰匙,兩秒後模型就忘了手裡有東西。說白了,傳統的影片世界模型只是在根據前面的畫面猜下一幀的畫素,它腦子裡根本沒有規則,也記不住任何發生過的事情。
研究人員正式開源了 Code World Model(簡稱 CWM)。這項研究換了一個非常清醒的思路:別讓影片模型同時負責動腦和畫畫,既然大語言模型寫程式碼那麼厲害,為什麼不讓它來當世界的邏輯大腦?
讓智慧體寫遊戲引擎,讓影片模型當顯示卡
Code World Model 的核心思想,是把世界的演化邏輯和最終的視覺畫面徹底拆開。
他們把一個 Coding Agent 放到了大腦的位置。當虛擬世界裡發生任何事件,比如角色向前走了一步、推倒了一個箱子,這個智慧體都會先進行推理,然後即時編寫並執行一段程式碼,把修改記錄在一個可以持續存在的世界狀態裡。
有了邏輯狀態還不夠,影片模型看不懂純程式碼。團隊設計了一種中間代理表示,把場景佈局、物體位置和運動軌跡等時空約束編碼進去,生成一段簡化的代理影片。
最後一步才是渲染。研究團隊構建了從遊戲畫面和真實影片中採集的對齊資料集,對影片模型 MiniMax-H3 進行了微調。MiniMax-H3 接收到代理影片後,只負責老老實實把畫面細節畫出來,確保光影和質感足夠逼真。
這就像是在做一個自動化遊戲引擎:Coding Agent 負責在後臺跑底層邏輯與物理規則,而影片模型只充當一塊高效能顯示卡。
長時間執行不忘事,換了畫風場景還在
從官方放出的演示來看,這種拆分帶來了非常明顯的好處。
最直觀的一點是長週期的永續性。演示裡的世界可以持續執行很長時間,甚至畫面的右上角還配了一個即時小地圖,隨時追蹤所有物體的位置。無論鏡頭怎麼轉,物體和場景佈局始終保持一致。
更有意思的是風格遷移。由於世界底層是由程式碼驅動的確定性狀態,渲染層可以自由變幻風格。團隊展示了同一個世界在不同視覺畫風之間平滑切換,而背後的場景結構和事件進展完全沒有變形或崩潰。
目前這套框架的程式碼和執行說明已經公開在 GitHub 上。不過想在本地跑起來門檻不低,官方測試是在一張擁有 80GB 視訊記憶體的輝達 H800 上完成的,普通使用者如果想在消費級顯示卡上嘗試,可能得等社群做出量化版本。
為什麼重要
我們認為,Code World Model 最聰明的地方在於它沒有死磕純端到端的影片生成,而是承認了當前大模型的優缺點。
讓純視覺模型去理解重力、碰撞和空間永續性,成本極高且極容易出現幻覺。而大語言模型在符號推理、規則維護和程式碼生成上早就被證明非常可靠。用確定性的程式碼兜底物理規律,用生成式模型補齊視覺細節,這才是通往可互動虛擬世界更務實的路線。
對遊戲和虛擬環境的開發者來說,這種架構提供了一個全新的原型製作思路。未來開發一個小型沙盒世界,可能不再需要從頭手寫每一條互動指令碼,也不用擔心 AI 生成的畫面無法互動。
當然,它現在的侷限也擺在眼前。雖然邏輯由程式碼保證,但整套流程依然依賴微調後的 MiniMax-H3 渲染,80GB 視訊記憶體的要求註定它現階段還是實驗室玩具,推理延遲也無法直接支援毫秒級的即時操控。但它證明了一件事:想要做出真正能玩的 AI 世界,只靠預測畫素是不夠的,你必須給它裝一個懂程式碼的大腦。
來源 (2)
- buaacyw.github.io(在新分頁開啟)原文buaacyw.github.io
- youtube.com(在新分頁開啟)報導youtube.com