跳到正文
IFAI

AIGC

NVIDIA 推出三圖示例編輯器 LoRAWeave:給一對前後對比圖,精準克隆修圖風格

首次發布 傳播指數 41

NVIDIA 提出影像編輯方案 LoRAWeave。與單參考圖不同,它需要輸入編輯前、編輯後兩張示例圖以及目標圖,自動提取變換規律並應用到新圖上。這種視覺類比方式復刻風格更穩,尤其適合用語言難以描述的複雜畫面處理。

NVIDIA 推出三圖示例編輯器 LoRAWeave:給一對前後對比圖,精準克隆修圖風格
圖:arxiv.org

想讓 AI 把一張照片修成特定風格,最折磨人的地方往往不是生成本身,而是怎麼跟模型溝通。寫一長串「吉卜力風、細膩水彩、柔和光影」的提示詞,模型抽出來的圖還是可能跟你預想的差了十萬八千里。

NVIDIA 提出了一套叫 LoRAWeave 的影像編輯方案。它的思路很直接:既然文字說不清楚,那乾脆別說了,直接做個示範給它看。

不用打字,給兩張圖當「例題」

一般的參考圖編輯通常只給一張圖,但 LoRAWeave 每次需要你提供三張圖。

前兩張是一組編輯前後的示範對。第一張是「修改前」的原圖,第二張是「修改後」的效果。第三張才是你真正想要處理的目標圖。

模型要做的事情,就是觀察前兩張圖到底發生了什麼變化,把這套修改規則提取出來,然後再如法炮製地應用到第三張圖上。

用公式來說,就是讓模型去解一道類似小學找規律的填空題。比如你示範一組「建築照片 → 建築手繪草圖」,再塞給它一張新拍的街景,它就能自動把新街景也轉成同款草圖。

你也可以給它一組「小鳥真實照片 → 吉卜力風插畫」,然後讓它把自家的貓也變成同款動畫風;或者拿一張「真人照片 → 定格黏土小人」當範本,讓它把另一個朋友也做成黏土質感。

步驟雖然比敲幾個單詞繁瑣了一點,但在風格復刻上非常紮實。

給各種畫風搭一個「LoRA 積木庫」

光是教 AI 做類比其實並不新鮮,難點在於以往的模型很難學會那些沒見過的變化。

傳統的微調方法通常是用一個單獨的 LoRA 模組去硬背所有的影像變換。但視覺風格千奇百怪,單個模組的空間有限,一旦遇到沒見過的冷門風格就容易失效。

研究團隊在這裡用了一個很聰明的機制:他們構建了一套可學習的 LoRA 基底,就像是一套基礎的風格變換積木。

同時,系統裡配備了一個輕量級的編碼器。當你把那對前後對比圖喂進去時,編碼器會即時計算出這兩種狀態之間究竟包含了哪些變換,然後動態給各個基礎 LoRA 分配權重。

在單次推理過程中,它就能把這些權重動態揉合在一起,拼出最貼合這次任務的專屬模型,大幅提升了對全新變換的泛化能力。

為什麼重要

我們認為,LoRAWeave 最聰明的地方,在於它避開了大模型在語言表達上的先天模糊性,把「解釋風格」的權力還給了視覺本身。

對於設計師、插畫師和視覺創作者來說,很多視覺處理手法——比如特定的調色預設、光影質感、某種紙張的肌理——在自然語言里根本沒有準確對應的詞彙。過去你只能靠撞大運或者反覆抽卡,現在只要手頭有一張調色前後的原圖對比,就能一鍵批次復刻流程。

這種思路對後續的影像生成工具也是個重要啟發。與其逼著使用者去學習怎麼寫出複雜的「咒語」,不如讓多模態模型真正學會看圖理解上下文,直接把視覺示例當作無監督的指令。

不過,這種工作流目前也有明顯的現實門檻。要用好它,你首先得準備好一張高質量、嚴格配對的「前後對比圖」。如果手頭沒有現成的對比樣本,三圖機制反而增加了一道準備素材的成本。但只要解決了一次樣本問題,後續的確定性和複用價值就遠超純文本提示詞。

來源 (1)

  1. [1]

每日 AI 內容精選