跳到正文
IFAI

AIGC

Google 曝光新影片模型 Gemini Omni:融合圖文音生影片,支援對話修改

首次發布 傳播指數 49

Google 全新多模態模型 Gemini Omni 曝光。它能結合影像、音訊與文本等多模態輸入生成連貫影片,並支援用自然語言對話直接修改畫面。最關鍵的是,它將邏輯推理與畫面渲染結合,首發版本 Omni Flash 可生成 10 秒短影片。

圖:techcrunch.com

在 OpenAI 關停 Sora 之後,AI 影片生成領域看似暫時降溫,但 Google 顯然沒打算放過這個賽道。

Google 全新多模態模型 Gemini Omni 提前曝光。從目前浮出水面的內測介面和技術細節來看,這不僅是一個生成影片的工具,而是 Google 把大語言模型的全套推理能力,直接接到了影片渲染引擎上。

首發落地的版本叫 Gemini Omni Flash,支援生成 10 秒短影片,正在逐步推向 Gemini 應用、創意工具 Flow 以及 YouTube Shorts。

把推理腦子裝進影片引擎

以往多數影片生成模型更像是在「模式匹配」,把畫素硬湊在一起,稍微遇到複雜的物理規律或文字排版就容易露餡。

Gemini Omni 的思路不太一樣。Google 把文本、影像、音訊和影片四種模態放在同一個底座裡統一推理。這意味著它不是先寫指令碼再拼畫面,而是理解了背後的常識後再動手渲染。

在曝光的早期演示裡,有人輸入了複雜的提示詞:讓一位教授在黑板上書寫三角恆等式的數學證明,並同步講解推導步驟。模型不僅把板書的公式準確還原了出來,連講解節奏和板書動作也對得上。

還有測試者重現了當年經典的「威爾·史密斯吃意麵」場景,生成的兩位男士在海邊優雅吃麵的動作已經非常自然。不過,內測使用者也發現生成這種高質量內容相當吃算力,兩段提示詞直接消耗了當天 AI Pro 套餐 86% 的額度。

官方還展示了蛋白質摺疊的黏土定格動畫,模型甚至能一邊生成黏土偶的動作,一邊配合旁白準確解釋胺基酸鏈、阿爾法螺旋和貝塔摺疊的結構原理。

像聊天一樣改影片,還有防偽分身

除了直接生成,Gemini Omni 最吸引人的功能是用自然語言改影片。

過去用 AI 改影片往往牽一髮而動全身,一改動整個場景就全變了。Omni 支援多輪對話編輯,比如拍了一段雕塑影片,你可以直接對它說「把雕塑材質換成氣泡」,模型會在保留原始光影和相機運動軌跡的前提下,把雕塑替換掉。

針對創作者,Google 還引入了數字分身功能。為了防止被濫用做 Deepfake,使用者必須完成專門的人臉認證,對著鏡頭讀出一串隨機數字,才能生成專屬分身。所有生成的影片也會強制打上 SynthID 數字水印。

目前首發的 Omni Flash 限制在 10 秒長度。DeepMind 團隊解釋稱,這倒不是模型效能做不到更長,而是希望先降低門檻,讓普通人拿來做個性化表情包或生活短片。但開發團隊也提醒,對話修改時提示詞必須足夠精確,否則容易出現過度修改的問題。

為什麼重要

在 Sora 退出公眾視野、各家比拼生成時長的當下,Google 選擇了另一條路:把影片生成從一次性的「抽卡遊戲」,變成可以持續溝通的生產工具。

對創作者和普通使用者來說,能用自然語言精準微調畫面,意味著真正有了導演般的控制力。即便現在只有 10 秒,能在 Shorts 上快速生成帶自己分身和準確文字的短片,實用價值也遠高於那些動輒幾分鐘但無法控制細節的模型。

對行業而言,Gemini Omni 證明了原生多模態推理在影片領域的威力。以往模型搞不定的文字渲染、物理規律和音畫同步,在接入常識推理後迎刃而解。它會逼著其他影片模型廠商不僅要卷畫質,還要補課語言理解和世界模型。

我們認為,Google 這步棋下得很務實。與其盲目追求長影片生成導致的算力失控,不如先用 10 秒的高可用性切入消費級市場。但隱患也同樣擺在眼前:測試中極為驚人的算力消耗,以及稍有偏差就會過度修改的提示詞門檻,都是它真正走向大眾前必須解決的麻煩。

來源 (3)

  1. [1]
    techcrunch.com(在新分頁開啟)原文techcrunch.com
  2. [2]
    blog.google(在新分頁開啟)報導blog.google
  3. [3]

每日 AI 內容精選