OpenDreamer：把《我的世界》做成可交互的开源世界模型

OpenDreamer 是一个面向《我的世界》的开源世界模型，也是对 Google 闭源模型 Dreamer 4 的完整开源复现。它让你不用安装游戏本体，仅凭一个纯粹的视频生成模型，就能直接用键盘按键实时操控画面里的角色移动。

这个系统里没有任何预先编写的物理引擎或游戏逻辑，所有画面全部由神经网络实时「脑补」生成。你按下 W、A、S、D 键输入动作，模型就会把动作当成条件，一帧接一帧生成环境和角色的互动画面。

它是怎么做到的

训练一个可交互的 3D 动态世界模型极其昂贵且容易失败。OpenDreamer 团队走了一条很聪明的小步迭代路线，他们没有一上来就啃 3D《我的世界》，而是先用极简的 2D 金币游戏 CoinRun 搭建原型。

这样做的好处在于，单张 GPU 就能跑完整套验证流程。他们在一个简单的 2D 关卡里把调试周期缩短到极致，快速排查系统缺陷，等确认整套架构跑通后，才放大算力推向 3D 场景。

在架构底层，OpenDreamer 采用了块因果 Transformer 作为骨干网络。模型被拆分为负责单帧内信息传递的空间层，以及负责跨帧传递的时间因果层。

团队放弃了训练起来极度痛苦的传统变分自编码器（VAE），改用基于 Transformer 的掩码自编码器（MAE）来做图像标记化。这套方案实现了约 100 倍的压缩率，无需对抗损失或复杂的 KL 散度约束，训练既快又稳定。

在动力学模型方面，团队结合了扩散强迫（diffusion forcing）、流匹配（flow matching）和快捷模型（shortcut models）。他们把历史动作、当前状态与预测策略折叠进同一个时间步块中，让神经网络能同时预测下一帧画面和智能体的下一个动作，避免了不同模块间频繁切换的计算损耗。

去哪体验与怎么跑起来

项目团队已经把推理代码、训练流水线全部上传到了 GitHub，同时还公开了训练数据集以及完整的踩坑复盘。

如果你不想在本地折腾环境，可以通过他们借助 Reactor 运行时搭建的网页演示直接试玩。只要在浏览器里打开页面，敲击键盘按键，就能即时看到世界模型生成的实时反馈。

如果你打算在本地机器上运行，GitHub 仓库里给出了完整的安装与启动说明。需要自己微调或重新训练的开发者，也可以参考他们给出的单卡 CoinRun 启动流程，低门槛复刻整套工作流。

为什么重要

对于想要研究世界模型的开发者和具身智能团队来说，OpenDreamer 填补了一个关键空白。此前 Google 的 Dreamer 4 虽有论文，但核心权重和训练代码均未公开，复现门槛极高；OpenDreamer 不仅开源了代码和模型，还详细记录了哪些技术路线走得通、哪些会失败，省去了同行大量摸黑试错的算力成本。

我们认为，从单卡 2D 游戏验证架构再扩展到 3D 复杂环境的工程思路，非常适合预算有限的学术团队和独立开发者借鉴。虽然现阶段实时生成的画质和稳定性相比原生游戏引擎仍有差距，但它证明了用纯生成方式构建可交互仿真世界的路线确实走得通，也给下一代游戏与智能体训练提供了一个真正透明的研究底座。