跳到正文
IFAI

AIGC

Google 曝光新视频模型 Gemini Omni:融合图文音生视频,支持对话修改

首次发布 传播指数 49

Google 全新多模态模型 Gemini Omni 曝光。它能结合图像、音频与文本等多模态输入生成连贯视频,并支持用自然语言对话直接修改画面。最关键的是,它将逻辑推理与画面渲染结合,首发版本 Omni Flash 可生成 10 秒短视频。

图:techcrunch.com

在 OpenAI 关停 Sora 之后,AI 视频生成领域看似暂时降温,但 Google 显然没打算放过这个赛道。

Google 全新多模态模型 Gemini Omni 提前曝光。从目前浮出水面的内测界面和技术细节来看,这不仅是一个生成视频的工具,而是 Google 把大语言模型的全套推理能力,直接接到了视频渲染引擎上。

首发落地的版本叫 Gemini Omni Flash,支持生成 10 秒短视频,正在逐步推向 Gemini 应用、创意工具 Flow 以及 YouTube Shorts。

把推理脑子装进视频引擎

以往多数视频生成模型更像是在「模式匹配」,把像素硬凑在一起,稍微遇到复杂的物理规律或文字排版就容易露馅。

Gemini Omni 的思路不太一样。Google 把文本、图像、音频和视频四种模态放在同一个底座里统一推理。这意味着它不是先写脚本再拼画面,而是理解了背后的常识后再动手渲染。

在曝光的早期演示里,有人输入了复杂的提示词:让一位教授在黑板上书写三角恒等式的数学证明,并同步讲解推导步骤。模型不仅把板书的公式准确还原了出来,连讲解节奏和板书动作也对得上。

还有测试者重现了当年经典的「威尔·史密斯吃意面」场景,生成的两位男士在海边优雅吃面的动作已经非常自然。不过,内测用户也发现生成这种高质量内容相当吃算力,两段提示词直接消耗了当天 AI Pro 套餐 86% 的额度。

官方还展示了蛋白质折叠的黏土定格动画,模型甚至能一边生成黏土偶的动作,一边配合旁白准确解释氨基酸链、阿尔法螺旋和贝塔折叠的结构原理。

像聊天一样改视频,还有防伪分身

除了直接生成,Gemini Omni 最吸引人的功能是用自然语言改视频。

过去用 AI 改视频往往牵一发而动全身,一改动整个场景就全变了。Omni 支持多轮对话编辑,比如拍了一段雕塑视频,你可以直接对它说「把雕塑材质换成气泡」,模型会在保留原始光影和相机运动轨迹的前提下,把雕塑替换掉。

针对创作者,Google 还引入了数字分身功能。为了防止被滥用做 Deepfake,用户必须完成专门的人脸认证,对着镜头读出一串随机数字,才能生成专属分身。所有生成的视频也会强制打上 SynthID 数字水印。

目前首发的 Omni Flash 限制在 10 秒长度。DeepMind 团队解释称,这倒不是模型性能做不到更长,而是希望先降低门槛,让普通人拿来做个性化表情包或生活短片。但开发团队也提醒,对话修改时提示词必须足够精确,否则容易出现过度修改的问题。

为什么重要

在 Sora 退出公众视野、各家比拼生成时长的当下,Google 选择了另一条路:把视频生成从一次性的「抽卡游戏」,变成可以持续沟通的生产工具。

对创作者和普通用户来说,能用自然语言精准微调画面,意味着真正有了导演般的控制力。即便现在只有 10 秒,能在 Shorts 上快速生成带自己分身和准确文字的短片,实用价值也远高于那些动辄几分钟但无法控制细节的模型。

对行业而言,Gemini Omni 证明了原生多模态推理在视频领域的威力。以往模型搞不定的文字渲染、物理规律和音画同步,在接入常识推理后迎刃而解。它会逼着其他视频模型厂商不仅要卷画质,还要补课语言理解和世界模型。

我们认为,Google 这步棋下得很务实。与其盲目追求长视频生成导致的算力失控,不如先用 10 秒的高可用性切入消费级市场。但隐患也同样摆在眼前:测试中极为惊人的算力消耗,以及稍有偏差就会过度修改的提示词门槛,都是它真正走向大众前必须解决的麻烦。

来源 (3)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com
  2. [2]
    blog.google(在新标签页打开)报道blog.google
  3. [3]

每日 AI 内容精选