Google DeepMind 发布 Genie 3:输一句话,实时生成可交互世界
Google DeepMind 发布通用世界模型 Genie 3。输入文字描述后,它能以 720p、24 帧每秒实时生成可自由探索的动态环境,并维持数分钟的一致性。用户还能随时追加文本修改天气或道具。目前它仅作为研究预览版向少数研究者和创作者开放。
过去玩 3D 游戏,哪怕画质再逼真,背后都得靠庞大的游戏引擎写死每一行物理规则。如果现在只要给一句话,AI 就能凭空算出一个能实时跑动、随意互动的 3D 世界呢?
Google DeepMind 在 8 月 5 日发布了通用世界模型 Genie 3。只要输入一段文本提示词,它就能实时生成 720p 分辨率、每秒 24 帧的动态交互环境,而且连续交互几分钟内画面都不会崩塌。
从看视频到亲自走进去
和去年只能坚持 10 到 20 秒的 Genie 2 相比,Genie 3 最明显的飞跃是时长和稳定性。它能维持数分钟的环境连贯性,甚至能记住一分钟前你去过的地方,回头看时场景依然在那儿。
它不依赖 NeRF、高斯泼溅或者现成的 3D 建模,也没有写死的物理引擎。DeepMind 研究总监 Shlomi Fruchter 解释,Genie 3 采用自回归架构,每次基于用户的操作和过去的轨迹逐帧预测下一帧,物理规律是模型在超长序列推演中自己「悟」出来的。
更有意思的是「可提示世界事件」。在漫步的同时,你可以随时打字介入,比如下一场暴雨、让平地冒出新障碍,或者塞进新角色。DeepMind 研究员 Jakob Bauer 还演示了另一个玩法:直接把视频模型 Veo 3 生成的无人机航拍片段扔给 Genie 3,然后在半空中突然接管控制权,直接飞进视频里自由探索。
具身智能的「精神时光屋」
DeepMind 费这么大劲做虚拟世界,真正的目标其实不是做游戏,而是为了训具身智能体。
在测试中,他们把通才虚拟智能体 SIMA 放进了 Genie 3 捏出来的仓库世界里。研究员给 SIMA 下达了走近绿色垃圾压缩机、走向红色叉车等任务,SIMA 完全靠输出导航动作在 Genie 3 里探索,最终顺利完成了这些目标。
不过,目前的 Genie 3 依然是个局限明显的早期研究预览版。TechCrunch 提到,在一段滑雪演示里,雪花并没有随着滑雪者产生真实的物理飞溅。此外,智能体能执行的动作空间还很窄,多智能体之间的复杂交互做不好,现实地理位置还原不准,画面文字也很难看清,而且几分钟的时长离机器人训练动辄几千小时的需求还有很大距离。
为什么重要
我们认为,Genie 3 最聪明的突破,在于它彻底把世界模型从「静态预渲染视频」推进到了「低延迟实时可玩」。在过去,生成视频是单向输出,而具身智能需要的是高频交互反馈。Genie 3 跑通了 24fps 的交互闭环,等于给具身智能开辟了一个低成本、无限题材的训练沙盒。
对行业来说,它给机器人和自动驾驶的数据瓶颈开了一剂猛药。现实世界采集边角案例既昂贵又危险,如果能用文本随时生成罕见天气、突发路况让 AI 去撞墙试错,训练效率会呈指数级提升。DeepMind 研究员 Jack Parker-Holder 提到的具身智能 AlphaGo「第 37 手」时刻,或许就藏在这样的模拟器里。
但普通开发者现在还不用着急。目前它只对极少数研究者和创作者开放预览,几分钟的记忆限制也远不足以支撑工业级训练。它眼下更像是一个概念验证,证明了纯靠视频生成架构硬算出来的动态世界,真的能具备基础物理直觉。接下来就看它能不能把生成时长从分钟级拉长到小时级了。
来源 (3)
- deepmind.google(在新标签页打开)原文deepmind.google
- x.com(在新标签页打开)讨论x.com
- techcrunch.com(在新标签页打开)报道techcrunch.com