Skywork 开源 Matrix Game 4.0：单卡 83 帧实时渲染可玩 3D 游戏

Skywork 的 Matrix Game 4.0 是一个能实时生成可交互 3D 游戏画面的开源 AI 世界模型。它把传统游戏引擎和神经网络结合起来，让你用单张消费级显卡就能玩上每秒最高 83 帧的 AI 渲染游戏。

过去的 AI 游戏模型往往试图端到端生成所有像素，玩家玩上几秒钟，画面就会开始扭曲变形、场景漂移甚至物理规律崩塌。Matrix Game 4.0 换了一条聪明的路子：它不让 AI 去猜物理碰撞和按键规则，而是保留一个底层可执行游戏引擎，专门负责跑物理碰撞、角色移动和按键交互，输出粗略的低模画面。AI 只负责把这层低模画面实时重绘成细节丰富的高清图像，HUD 界面和音效则作为独立图层贴在最外层。

它能做什么

Matrix Game 4.0 首发开放了三个针对特定场景微调的渲染检查点：中世纪城堡、古埃及和城市赛车。每个场景模型大约有 50 亿参数（5001016512 个 BF16 参数）。

系统输出分辨率为 480x864。它提供了两种运行预设：如果追求极致流畅，可以开启实时预设，采用 TAEHV 编解码器配合单步降噪，在优化后的 DiT 和 CUDA graphs 加持下，单张消费级 GPU 就能跑出最高 83 帧的流畅画面；如果追求画质，则能切换到 Wan VAE 两步降噪的高质量预设。

更有意思的是它内置了一个编程智能体。你不需要自己去扒引擎底层写逻辑，直接用自然语言描述想加什么新玩法，智能体就会自动去修改对应的游戏代码。

怎么获取与当前限制

项目已经在 Hugging Face 和开源平台公开了代码、模型权重与演示资源，遵循 Apache-2.0 许可证，底层的 TAEHV 编解码器遵循 MIT 协议。需要说明的是，这次开源放出了推理源码、场景权重与依赖清单，但并未包含原始训练代码和训练数据集。

虽然宣称支持消费级显卡，但上手前也有几点限制需要看清。首先，这些模型是高度专精于自带的特定场景与摄像机轨迹的，遇到从未见过的复杂几何体、镜头剧烈晃动或者极长时间的游玩，依然可能出现外观漂移或几何形变。其次，AI 重绘的画面哪怕再逼真，也不会反过来改变底层的碰撞判定和物理法则。官方也没有保证任何一张普通显卡都能无脑跑满显存。

想要尝试的开发者可以直接去 Hugging Face 搜索 Skywork/Matrix-Game-4.0，按照仓库内的 manifest 脚本下载模型权重与对应场景的引擎资产。

为什么重要

我们认为，Matrix Game 4.0 最大的意义在于给 AI 游戏世界模型指了一条务实的落地路径。过去业内总执着于用纯神经模型端到端模拟整套物理引擎，结果不仅算力开销巨大，画面的时空一致性也极其脆弱；Skywork 选择让传统引擎守住物理和玩法的下限，只让 AI 去做最擅长的神经着色，既保住了可玩性，又把帧率拉到了可实用的 83 帧。

对独立开发者和图形学玩家来说，它非常值得现在就拉下来本地跑一跑。它可能还不足以支撑一部商业 3A 大作的完整管线，但对于探索下一代神经实时渲染引擎、低成本资产高清化或者 AI 辅助玩法迭代来说，这是一个目前少有的、代码权重全部开放且真正跑得起来的现成样本。