DeepMind CEO：Google 计划将 Gemini 与视频模型 Veo 合并

如果把全世界的物理课本都背下来，AI 就能理解现实世界了吗？答案显然是不能。AI 可以写出重力加速度公式，但它根本不知道杯子掉在地上会摔碎，除非它亲眼看过。

为了补上这一课，Google 打算把自家的两张王牌捏在一起。Google DeepMind 首席执行官 Demis Hassabis 最近在 LinkedIn 联合创始人 Reid Hoffman 主持的播客《Possible》中透露，Google 计划最终将 Gemini 大模型与 Veo 视频生成模型合并，以此大幅提升 Gemini 对物理世界的理解能力。

刷海量 YouTube，让 AI 学会物理法则

Hassabis 解释说，Google 从一开始就把 Gemini 构想为原生多模态模型。他们的终极目标不是做一个文字聊天框，而是一个能在现实世界里真正帮上忙的「通用数字助理」。

要让助理走进现实，模型就必须理解现实物体的运动方式。Hassabis 暗示，Veo 的训练素材绝大部分来自自家的 YouTube 平台。用他的话说，Veo 2 基本上就是靠看海量的 YouTube 视频，慢慢搞明白了现实世界的物理法则。

不过，数据来源也免不了引来争议。Google 之前曾对 TechCrunch 表示，模型「可能」根据创作者协议在「部分」YouTube 内容上进行了训练。据报道，Google 去年还特意拓宽了服务条款，部分目的就是为了获取更多数据来训练 AI 模型。

巨头都在抢跑「全模态」

现在的 AI 竞争正在从单模态转向所谓的 omni 全模态模型，也就是能同时理解和生成文字、图像、音频、视频等各种媒介。

不仅是 Google，各家都在朝着这个方向狂奔。Google 最新的 Gemini 已经能生成音频、图像和文本；OpenAI 的 ChatGPT 默认模型也能直接生成图像；亚马逊此前也宣布，计划在今年晚些时候推出自己的「any-to-any」全能模型。

把视频生成模型和语言模型合体，意味着未来的大模型不再只是根据概率预测下一个字，而是在脑海中模拟真实世界的动态演变。

为什么重要

我们认为，Google 把 Gemini 和 Veo 合并的计划，亮出了它在 AI 竞赛中最坚固的一道护城河。

对用户来说，这意味着未来的 AI 助手将不仅能听懂指令，还能看懂你在现实中的动作。比如修车时给它看一段镜头，它能准确预判零件怎么转动、螺丝掉下去会弹到哪。对于做具身智能和机器人研发的团队来说，这种掌握物理世界常识的模型，正是机器人大脑最稀缺的基础底座。

在行业竞争上，这也是 Google 对 OpenAI 和亚马逊的一次实力展示。虽然各家都在做 omni 模型，但没有哪家拥有像 YouTube 这样源源不断的高清视频金矿。当纯文本数据在全网快被刮干净的时候，视频数据成了下一阶段物理世界建模的核心燃料。

但这种做法并非没有隐患。将两个超大型模型融为一体，推理和训练的算力消耗将极其惊人，普通用户和轻量设备能不能跑得起是个大问号。此外，靠大量抓取 YouTube 视频训练世界模型，创作者的反弹与版权风险始终是一颗悬空的雷。看起来，Google 已经选定了用海量视频喂出通识物理的路线，接下来就看它能不能把视频里的物理常识，真正兑现到现实生活里。