跳到正文
IFAI

大模型

DeepMind 发布 Genie 4:可实时交互并原生生成声音的世界模型

首次发布 传播指数 57

Google DeepMind 宣布推出世界模拟模型 Genie 4。它不仅支持键盘与自然语言实时操控画面,还首次原生同步生成环境音与角色对话,并引入 Gemini 负责多步骤因果推理。目前该模型仅面向受信任测试者开放研究预览。

图:deepmind.google

想象一下,你随便敲几句提示词,一个能用键盘跑来跑去的 3D 虚拟世界立刻出现在屏幕上。更神的是,树叶有风声,海滩有浪花,迎面走来的路人还能张口跟你搭话。

这就是 Google DeepMind 在 10 月 27 日拿出的新东西:世界模拟模型 Genie 4。一年前它发布 Genie 3 时,大家还在惊叹像素级生成的场景居然能玩;到了第四代,DeepMind 直接把原生多模态音频塞了进去。

键盘能走,张嘴能聊,还能随时「改剧本」

以往的世界模型大多只能闷头吐画面,但 Genie 4 是首个原生支持同步音频的实时模型。环境里的风声、背景音乐,甚至是游戏角色的实时对话,都是跟着画面一起直接算出来的。

操作起来也很简单。你可以直接用键盘的 WASD 键或者方向键控制角色移动、转动镜头。玩到一半觉得不过瘾,随手打一行字,比如「突然开始下暴雨」或者「前面出现一个戴帽子的路人」,场景就会在保持连贯的前提下直接顺着你的意思改变。

这背后其实是两套系统的紧密配合。视觉部分由 Gemini Omni 提供真实世界的外观与物理规律,比如空气动力学碰撞;而在幕后,Gemini 3.8 Flash 或 Gemini 4 Argon 像个执行导演,一边盯着实时画面,一边拆解多步骤任务。

在 DeepMind 展示的一个演示里,完全由像素虚拟出来的 Apptronik Apollo 机器人正和人类坐在桌前下跳棋。场景是虚构的,但棋局完全符合逻辑,因为 Gemini 4 Argon 正在左侧实时推理每一步走法,再指引 Genie 4 把动作渲染出来。

目前 Genie 4 的稳定交互时长能维持两分钟左右,比上一代直接翻了一倍。

画质惊艳,但它依然是个「半成品」

虽然演示让人眼前一亮,但 DeepMind 自己也承认,模型现在还在很早期的实验阶段。

最明显的问题是时间一长就容易「穿帮」。当模拟运行超过一两分钟,或者经过多次复杂的文字编辑后,场景里的细节和物体永久性(比如回头看刚才走过的路)就会出现漂移。文字渲染不清晰、精细物理碰撞失真、以及音频准确度,目前都还在攻关中。

为了防范滥用,Genie 4 生成的所有视频和音频都默认嵌入了 Google 的 SynthID 数字水印。目前它只对受信任的测试者开放,后续才会进入 Project Genie 供 Google AI Ultra 订阅用户以及 Gemini API 早期合作伙伴尝鲜。

为什么重要

世界模型这条赛道最近热闹得有点异常。Runway 两个月前刚推出带音频的 GWM Worlds 2,李飞飞创立的 World Labs 被 AMD 收购,亚马逊在传接洽 Decart,Rivian 甚至直接把 Third Dimension 买回去做自动驾驶仿真。各家都在抢夺下一代模拟世界的技术话语权。

DeepMind 这一步走得相当聪明。很多团队还在死磕单纯的视频扩散模型,而 Google 选择把大语言模型的逻辑推理和底层像素渲染做成「混合世界模型」。说白了,让擅长逻辑的 Gemini 负责因果规则,让擅长视觉的 Genie 负责生成感知,这比单靠视觉模型去碰运气猜物理规律要靠谱得多。

对普通创作者来说,这玩意儿短期内可能还做不出一款完整的 3A 游戏,但它很快会颠覆前期的概念设计和影视预演。电影导演不用再等特效团队搭简陋的灰模,甚至只要一张老照片,就能在一分钟内走进动态现场走位挑角度。

不过门槛依然摆在那里。最高规格的订阅费用、深不见底的算力开销,再加上时长漂移问题,意味着它离真正落地的工具链还有一段距离。但毫无疑问,AI 生成内容正在从「静态看个乐」,彻底转向「能走进去交互」的新阶段。

来源 (3)

  1. [1]
    deepmind.google(在新标签页打开)原文deepmind.google
  2. [2]
    techcrunch.com(在新标签页打开)报道techcrunch.com
  3. [3]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选