Code World Model 开源:用编程智能体当大脑,让 AI 真正记住世界状态
研究人员发布并开源 Code World Model 框架。它把世界演化与画面生成拆开,由编程智能体推理事件并写代码维护持久世界状态,再由微调后的视频模型 MiniMax-H3 渲染画面。最值得关注的是,这让 AI 生成的世界能够跨长周期记住物体与规则,不再只是预测下一帧像素。
现在的视频生成模型看起来越来越逼真,但只要你让它生成一个可以交互的世界,很快就会露馅。角色刚走过一扇门,转个身门就凭空消失了;地上捡起一把钥匙,两秒后模型就忘了手里有东西。说白了,传统的视频世界模型只是在根据前面的画面猜下一帧的像素,它脑子里根本没有规则,也记不住任何发生过的事情。
研究人员正式开源了 Code World Model(简称 CWM)。这项研究换了一个非常清醒的思路:别让视频模型同时负责动脑和画画,既然大语言模型写代码那么厉害,为什么不让它来当世界的逻辑大脑?
让智能体写游戏引擎,让视频模型当显卡
Code World Model 的核心思想,是把世界的演化逻辑和最终的视觉画面彻底拆开。
他们把一个 Coding Agent 放到了大脑的位置。当虚拟世界里发生任何事件,比如角色向前走了一步、推倒了一个箱子,这个智能体都会先进行推理,然后实时编写并运行一段代码,把修改记录在一个可以持续存在的世界状态里。
有了逻辑状态还不够,视频模型看不懂纯代码。团队设计了一种中间代理表示,把场景布局、物体位置和运动轨迹等时空约束编码进去,生成一段简化的代理视频。
最后一步才是渲染。研究团队构建了从游戏画面和真实视频中采集的对齐数据集,对视频模型 MiniMax-H3 进行了微调。MiniMax-H3 接收到代理视频后,只负责老老实实把画面细节画出来,确保光影和质感足够逼真。
这就像是在做一个自动化游戏引擎:Coding Agent 负责在后台跑底层逻辑与物理规则,而视频模型只充当一块高性能显卡。
长时间运行不忘事,换了画风场景还在
从官方放出的演示来看,这种拆分带来了非常明显的好处。
最直观的一点是长周期的持久性。演示里的世界可以持续运行很长时间,甚至画面的右上角还配了一个实时小地图,随时追踪所有物体的位置。无论镜头怎么转,物体和场景布局始终保持一致。
更有意思的是风格迁移。由于世界底层是由代码驱动的确定性状态,渲染层可以自由变幻风格。团队展示了同一个世界在不同视觉画风之间平滑切换,而背后的场景结构和事件进展完全没有变形或崩溃。
目前这套框架的代码和运行说明已经公开在 GitHub 上。不过想在本地跑起来门槛不低,官方测试是在一张拥有 80GB 显存的英伟达 H800 上完成的,普通用户如果想在消费级显卡上尝试,可能得等社区做出量化版本。
为什么重要
我们认为,Code World Model 最聪明的地方在于它没有死磕纯端到端的视频生成,而是承认了当前大模型的优缺点。
让纯视觉模型去理解重力、碰撞和空间持久性,成本极高且极容易出现幻觉。而大语言模型在符号推理、规则维护和代码生成上早就被证明非常可靠。用确定性的代码兜底物理规律,用生成式模型补齐视觉细节,这才是通往可交互虚拟世界更务实的路线。
对游戏和虚拟环境的开发者来说,这种架构提供了一个全新的原型制作思路。未来开发一个小型沙盒世界,可能不再需要从头手写每一条交互脚本,也不用担心 AI 生成的画面无法互动。
当然,它现在的局限也摆在眼前。虽然逻辑由代码保证,但整套流程依然依赖微调后的 MiniMax-H3 渲染,80GB 显存的要求注定它现阶段还是实验室玩具,推理延迟也无法直接支持毫秒级的即时操控。但它证明了一件事:想要做出真正能玩的 AI 世界,只靠预测像素是不够的,你必须给它装一个懂代码的大脑。
来源 (2)
- buaacyw.github.io(在新标签页打开)原文buaacyw.github.io
- youtube.com(在新标签页打开)报道youtube.com