跳到正文
IFAI

AI科研

Meta 推出 Emu Edit 與 Emu Video:指哪改哪的影像編輯和四秒影片生成

首次發布 傳播指數 57

Meta 公佈兩項基於 Emu 模型的 AI 研究成果:Emu Edit 和 Emu Video。Emu Edit 主打精確的文本指令影像修圖,只動指令相關的畫素;Emu Video 則用簡化的擴散模型架構生成 4 秒短影片。這項研究目前仍處於研發階段。

想給照片裡的人換件衣服,或者在棒球帽上加幾個字,很多 AI 工具一齣手,整張照片的臉型、光影全變了。最後你只能不停改提示詞碰運氣。

Meta 拿出了兩項生成式 AI 研究成果:精準修圖工具 Emu Edit 和影片生成工具 Emu Video。它們都基於 Meta 在 9 月 Connect 大會上釋出的 Emu 影像基礎模型,核心解決的就是「聽話」和「精準」的問題。

改該改的,別動不該動的

以往很多文生圖工具修圖時,要麼下手太重改得面目全非,要麼指令執行不到位。Meta 研究團隊提出,AI 修圖的核心不只是做出一張看起來合理的圖,而是隻去動那些跟指令相關的畫素。

舉個例子,如果你讓它在棒球帽上寫個「Aloha!」,它就只在帽子相應位置寫字,帽子本身的紋理、顏色和背景都原樣保留。Emu Edit 能夠通過純文字指令做區域性或全域性修改、換背景、改顏色、變形,甚至做目標檢測和影像分割。

為了讓它聽懂指令,Meta 專門造了一個包含 1000 萬個合成樣本的資料集。每個樣本都由原圖、任務描述和目標效果圖組成,涵蓋 16 種影像處理任務。Meta 稱這是同類中最大的資料集,藉助這些訓練,Emu Edit 還能舉一反三,在面對影像修復或超解析度等新任務時,只靠少量標註就能上手。

影片生成不用再疊羅漢

過去的 AI 影片生成往往結構臃腫,比如 Meta 之前的 Make-A-Video 就需要串聯 5 個模型。這次的 Emu Video 換了個思路,走分步拆解路線。

整個過程就兩步:先根據文本提示詞生成一張圖片,再結合提示詞和這張圖片生成影片。令人意外的是,這種拆解方式只需要 2 個擴散模型就能搞定,可以直接生成 512x512 解析度、每秒 16 幀的 4 秒影片,團隊實驗還試過生成 8 秒影片。

Emu Video 不僅支援文生影片,還支援直接輸入靜態圖片加上提示詞讓畫面動起來。為了測試效果,Meta 設計了一套名為 JUICE 的人類盲測打分機制。結果顯示,在與早期 Make-A-Video 的對比中,96% 的受試者認為 Emu Video 畫質更好,85% 的人認為它更符合提示詞要求。在與 Pika Labs 等外部產品的對比裡,Emu Video 在畫質和提示詞貼合度上也有超過 95% 的勝率;面對 Google 的 Imagen Video,Emu Video 在畫質偏好上也達到了 81.8%。

為什麼重要

這兩項成果目前還停留在研究階段,普通使用者還沒法直接下載獨立工具。不過 Meta 在社交生態裡的意圖已經非常明顯:普通人以後不需要精通 Photoshop,用一兩句聊天口吻的文字就能修照片,或者隨手把自己拍的靜態照片做成動圖表情包,直接發在 WhatsApp、Messenger 或 Instagram 上。

我們認為,Meta 這次最聰明的做法是架構上的剋制。在影片生成上,它沒有繼續硬堆 5 個模型,而是通過先出圖、再補動態的兩步法,用 2 個擴散模型實現了更高的執行效率和畫質。而在修圖上,它給行業劃了一條新標準:生成式修圖的難點不在於「生成」,而在於「剋制」,也就是不該碰的畫素一個都別碰。

不過隱患也同樣擺在眼前。合成數據集雖大,但當用戶面對真實世界中複雜的光影變化和刁鑽角度時,區域性編輯會不會依然出現邊緣撕裂或者光影不自然,還得等它真正端出來接受檢驗。無論如何,Runway、Pika 等專注做生成式工具的團隊,現在必須直面科技巨頭在模型效率和社交分發上的雙重壓力了。

來源 (3)

  1. [1]
    ai.meta.com(在新分頁開啟)原文ai.meta.com
  2. [2]
  3. [3]

每日 AI 內容精選