DeepMind CEO：Google 計劃將 Gemini 與影片模型 Veo 合併

如果把全世界的物理課本都背下來，AI 就能理解現實世界了嗎？答案顯然是不能。AI 可以寫出重力加速度公式，但它根本不知道杯子掉在地上會摔碎，除非它親眼看過。

為了補上這一課，Google 打算把自家的兩張王牌捏在一起。Google DeepMind 執行長 Demis Hassabis 最近在 LinkedIn 聯合創始人 Reid Hoffman 主持的播客《Possible》中透露，Google 計劃最終將 Gemini 大模型與 Veo 影片生成模型合併，以此大幅提升 Gemini 對物理世界的理解能力。

刷海量 YouTube，讓 AI 學會物理法則

Hassabis 解釋說，Google 從一開始就把 Gemini 構想為原生多模態模型。他們的終極目標不是做一個文字聊天框，而是一個能在現實世界裡真正幫上忙的「通用數字助理」。

要讓助理走進現實，模型就必須理解現實物體的運動方式。Hassabis 暗示，Veo 的訓練素材絕大部分來自自家的 YouTube 平臺。用他的話說，Veo 2 基本上就是靠看海量的 YouTube 影片，慢慢搞明白了現實世界的物理法則。

不過，資料來源也免不了引來爭議。Google 之前曾對 TechCrunch 表示，模型「可能」根據創作者協議在「部分」YouTube 內容上進行了訓練。據報道，Google 去年還特意拓寬了服務條款，部分目的就是為了獲取更多資料來訓練 AI 模型。

巨頭都在搶跑「全模態」

現在的 AI 競爭正在從單模態轉向所謂的 omni 全模態模型，也就是能同時理解和生成文字、影像、音訊、影片等各種媒介。

不僅是 Google，各家都在朝著這個方向狂奔。Google 最新的 Gemini 已經能生成音訊、影像和文本；OpenAI 的 ChatGPT 預設模型也能直接生成影像；亞馬遜此前也宣佈，計劃在今年晚些時候推出自己的「any-to-any」全能模型。

把影片生成模型和語言模型合體，意味著未來的大模型不再只是根據機率預測下一個字，而是在腦海中模擬真實世界的動態演變。

為什麼重要

我們認為，Google 把 Gemini 和 Veo 合併的計劃，亮出了它在 AI 競賽中最堅固的一道護城河。

對使用者來說，這意味著未來的 AI 助手將不僅能聽懂指令，還能看懂你在現實中的動作。比如修車時給它看一段鏡頭，它能準確預判零件怎麼轉動、螺絲掉下去會彈到哪。對於做具身智慧和機器人研發的團隊來說，這種掌握物理世界常識的模型，正是機器人大腦最稀缺的基礎底座。

在行業競爭上，這也是 Google 對 OpenAI 和亞馬遜的一次實力展示。雖然各家都在做 omni 模型，但沒有哪家擁有像 YouTube 這樣源源不斷的高畫質影片金礦。當純文本資料在全網快被刮乾淨的時候，影片資料成了下一階段物理世界建模的核心燃料。

但這種做法並非沒有隱患。將兩個超大型模型融為一體，推理和訓練的算力消耗將極其驚人，普通使用者和輕量裝置能不能跑得起是個大問號。此外，靠大量抓取 YouTube 影片訓練世界模型，創作者的反彈與版權風險始終是一顆懸空的雷。看起來，Google 已經選定了用海量影片喂出通識物理的路線，接下來就看它能不能把影片裡的物理常識，真正兌現到現實生活裡。