OpenDreamer：把《我的世界》做成可互動的開源世界模型

OpenDreamer 是一個面向《我的世界》的開源世界模型，也是對 Google 閉源模型 Dreamer 4 的完整開源復現。它讓你不用安裝遊戲本體，僅憑一個純粹的影片生成模型，就能直接用鍵盤按鍵即時操控畫面裡的角色移動。

這個系統裡沒有任何預先編寫的物理引擎或遊戲邏輯，所有畫面全部由神經網路即時「腦補」生成。你按下 W、A、S、D 鍵輸入動作，模型就會把動作當成條件，一幀接一幀生成環境和角色的互動畫面。

它是怎麼做到的

訓練一個可互動的 3D 動態世界模型極其昂貴且容易失敗。OpenDreamer 團隊走了一條很聰明的小步迭代路線，他們沒有一上來就啃 3D《我的世界》，而是先用極簡的 2D 金幣遊戲 CoinRun 搭建原型。

這樣做的好處在於，單張 GPU 就能跑完整套驗證流程。他們在一個簡單的 2D 關卡里把調試周期縮短到極致，快速排查系統缺陷，等確認整套架構跑通後，才放大算力推向 3D 場景。

在架構底層，OpenDreamer 採用了塊因果 Transformer 作為骨幹網路。模型被拆分為負責單幀內資訊傳遞的空間層，以及負責跨幀傳遞的時間因果層。

團隊放棄了訓練起來極度痛苦的傳統變分自編碼器（VAE），改用基於 Transformer 的掩碼自編碼器（MAE）來做影像標記化。這套方案實現了約 100 倍的壓縮率，無需對抗損失或複雜的 KL 散度約束，訓練既快又穩定。

在動力學模型方面，團隊結合了擴散強迫（diffusion forcing）、流匹配（flow matching）和快捷模型（shortcut models）。他們把歷史動作、當前狀態與預測策略摺疊進同一個時間步塊中，讓神經網路能同時預測下一幀畫面和智慧體的下一個動作，避免了不同模組間頻繁切換的計算損耗。

去哪體驗與怎麼跑起來

專案團隊已經把推理程式碼、訓練流水線全部上傳到了 GitHub，同時還公開了訓練資料集以及完整的踩坑復盤。

如果你不想在本地折騰環境，可以通過他們藉助 Reactor 執行時搭建的網頁演示直接試玩。只要在瀏覽器裡開啟頁面，敲擊鍵盤按鍵，就能即時看到世界模型生成的即時反饋。

如果你打算在本地機器上執行，GitHub 倉庫裡給出了完整的安裝與啟動說明。需要自己微調或重新訓練的開發者，也可以參考他們給出的單卡 CoinRun 啟動流程，低門檻復刻整套工作流。

為什麼重要

對於想要研究世界模型的開發者和具身智慧團隊來說，OpenDreamer 填補了一個關鍵空白。此前 Google 的 Dreamer 4 雖有論文，但核心權重和訓練程式碼均未公開，復現門檻極高；OpenDreamer 不僅開源了程式碼和模型，還詳細記錄了哪些技術路線走得通、哪些會失敗，省去了同行大量摸黑試錯的算力成本。

我們認為，從單卡 2D 遊戲驗證架構再擴充套件到 3D 複雜環境的工程思路，非常適合預算有限的學術團隊和獨立開發者借鑑。雖然現階段即時生成的畫質和穩定性相比原生遊戲引擎仍有差距，但它證明了用純生成方式構建可互動模擬世界的路線確實走得通，也給下一代遊戲與智慧體訓練提供了一個真正透明的研究底座。