DeepMind 发布 Genie 2：一张图生成可玩 3D 世界，键鼠直接操控

如果给你一张画，你能直接拿着键盘和鼠标走进去，那会是什么体验？以前这听起来像奇幻小说，但 Google DeepMind 刚刚把这件事变成了现实。

Google DeepMind 团队公布了全新的大规模基础世界模型 Genie 2。你只需要喂给它一张静态图片，它就能实时生成一个可交互、可游玩的 3D 虚拟世界，支持人类或者 AI 智能体用键盘和鼠标实时操控。

从 2D 像素跳进真实的 3D 空间

今年早些时候的第一代 Genie 只能生成简单的 2D 横版闯关场景，而这次的 Genie 2 直接跨进了 3D 领域。它不仅能生成第一人称视角，还支持等轴俯视视角和第三人称驾驶视角。

技术底层上，Genie 2 是一个在大规模视频数据集上训练出来的自回归潜在扩散模型。视频画面经过自编码器处理后，潜在帧被送入一个带有因果掩码的大型 Transformer 动力学模型，就像大语言模型预测下一个词一样，逐帧预测接下来的画面。

最让人惊讶的是它通过看视频自己悟出来的物理规律和交互常识。在演示中，Genie 2 知道怎么模拟重力、水流、烟雾、直射光和反射，还能处理复杂的物体交互，比如开门、打爆气球和引爆油桶。

它甚至具备长程记忆能力。当你操控角色往前走、把背后的房子甩出视野之后，只要你转过身，Genie 2 还能准确地把刚才的房子再画出来。目前它生成一致世界的时间最长可以达到 1 分钟，大多数演示保持在 10 到 20 秒。

初始画面的来源也很灵活，你可以用 Imagen 3 文生图工具画一张，也可以直接上传真实照片或者画师的概念草图。只要起始画面一样，玩家按下不同的按键，Genie 2 就会分化出完全不同的世界走向。

DeepMind 还把他们之前的通用游戏智能体 SIMA 放进了 Genie 2 里。研究人员让 Genie 2 生成一个有红门和蓝门的未知房间，再通过自然语言让 SIMA 走过去开门，以此来测试智能体在没见过的环境里的应对能力。

为什么重要

我们认为，Genie 2 最大的价值不是做一个供人消遣的玩具，而是给具身智能找到了一条低成本的数据飞轮路线。

过去训练具身智能和机器人最大的痛点就是环境匮乏。要么靠人工在商业游戏引擎里一行行代码搭场景，成本高且多样性有限；要么直接在现实世界跑，不仅危险还容易摔坏硬件。Genie 2 的聪明之处在于，它让模型自己变成了无限生成的虚拟练兵场，只要用文本描述就能源源不断创造出训练关卡。

对游戏和创意行业来说，它也是一个门槛极低的快速原型工具。概念设计师画好一张场景草图，不用等程序员建模型、写物理碰撞，直接就能戴上键鼠进去感受一下空间比例和氛围。

不过，现在大家还不需要把它当成 Unity 或虚幻引擎的替代品。Genie 2 目前最长只能维持 1 分钟的一致性，时间一长画面和逻辑难免会变形飘忽，目前想要真正做出一款完整的可玩游戏还差得很远。但无论如何，DeepMind 已经把世界模型从纸上谈兵拉进了可交互的现实，也给 OpenAI 等对手在视频生成的终局竞争上提了个醒。