腾讯推出世界模型 WorldCrafter：引入隐式 3D 记忆，回头看场景不再变形

玩过第一人称开放世界游戏的人都知道，不管你跑多远，回过头来那棵树、那栋房子都该在原地。

但这在 AI 生成视频的世界里，一直是个老大难问题。之前的视频世界模型，只要镜头转个身，背后的东西就很容易被模型「忘掉」，再转回来时往往面目全非，门窗换了位置，建筑甚至直接融化变形。

腾讯团队发布了全新的交互式视频世界模型 WorldCrafter，专门冲着这个痛点开刀。

回头看一眼，世界还是原来的样子

WorldCrafter 的做法很有意思。它既支持用一段文字提示词生成场景，也能只靠一张静态参考图作为起点。接着，你就可以通过相机轨迹去控制视角，在场景里进行分钟级别的漫游探索。

更关键的是，不管是静止的街景，还是走动的人物，只要物体离开视野再重新入画，它依然能认出这是刚才那个东西。

为了验证到底有没有真正稳住空间，团队还特意做了一项检验：从生成的视频里直接反向重建出 3D 点云和相机轨迹。结果显示，整个场景的几何结构和视角对齐相当扎实，没有出现传统生成视频常见的空间错乱。

在由 145 个场景和 725 条相机轨迹构成的基准测试中，WorldCrafter 在长时段重访一致性和相机控制精度上都明显压过现有基线模型，并在综合 VBench 测试中拿到了最高分。

藏在记忆里的 3D 坐标系

能做到这点，核心在于它设计的一套「隐式 3D 感知记忆」机制。

以往很多方法要么死磕多帧视频的时序连贯，要么费劲去做显式的深度估计和几何变形拼贴，不仅计算笨重，稍有误差就容易伪影乱飞。

WorldCrafter 则走了一条巧路。它联合训练了一个记忆编码器和一个基于姿态的读取模块，当你把镜头转向某个新角度时，模型会主动根据目标视角，去历史画面里提取对应的记忆标记，直接喂给视频生成器。

说白了，它不需要在表面硬建一套复杂的 3D 模型，而是让 AI 在大脑里把看过的场景打上空间坐标印记，随用随查。

目前这个项目已经开放了主页和代码，提供基础模型以及经过几步蒸馏的快速模型，后者能支持实时的流式交互。不过门槛也不低，整套组件加起来需要大约 147GB 存储空间。

为什么重要

从技术路径来看，我们认为 WorldCrafter 最聪明的地方在于，它避开了吃力不讨好的纯显式 3D 几何建模，用隐式记忆给视频扩散模型补上了最缺的「空间感」。

对开发者和游戏行业来说，这意味着纯靠 AI 实时生成可交互游戏关卡、虚拟片场迈出了实质性的一步。你不再只是看一段播片，而是真的能拿着手柄在 AI 脑补出来的环境里四处走动，不用担心转个头世界就崩塌。

不过，现在普通人想在本地跑起来门槛依然非常高。高达 147GB 的庞大体量和对本地显卡的严苛要求，注定它现阶段更适合有算力储备的研究团队和工业级创作者去尝鲜。

但它给整个世界模型赛道立下了一个标杆：未来的 AI 虚拟世界，光有逼真的画质和动态已经不够了，记住自己刚才画过什么，才是通往真正可交互环境的硬门槛。