跳到正文
IFAI

AIGC

NVIDIA 推出三图示例编辑器 LoRAWeave:给一对前后对比图,精准克隆修图风格

首次发布 传播指数 41

NVIDIA 提出图像编辑方案 LoRAWeave。与单参考图不同,它需要输入编辑前、编辑后两张示例图以及目标图,自动提取变换规律并应用到新图上。这种视觉类比方式复刻风格更稳,尤其适合用语言难以描述的复杂画面处理。

NVIDIA 推出三图示例编辑器 LoRAWeave:给一对前后对比图,精准克隆修图风格
图:arxiv.org

想让 AI 把一张照片修成特定风格,最折磨人的地方往往不是生成本身,而是怎么跟模型沟通。写一长串「吉卜力风、细腻水彩、柔和光影」的提示词,模型抽出来的图还是可能跟你预想的差了十万八千里。

NVIDIA 提出了一套叫 LoRAWeave 的图像编辑方案。它的思路很直接:既然文字说不清楚,那干脆别说了,直接做个示范给它看。

不用打字,给两张图当「例题」

一般的参考图编辑通常只给一张图,但 LoRAWeave 每次需要你提供三张图。

前两张是一组编辑前后的示范对。第一张是「修改前」的原图,第二张是「修改后」的效果。第三张才是你真正想要处理的目标图。

模型要做的事情,就是观察前两张图到底发生了什么变化,把这套修改规则提取出来,然后再如法炮制地应用到第三张图上。

用公式来说,就是让模型去解一道类似小学找规律的填空题。比如你示范一组「建筑照片 → 建筑手绘草图」,再塞给它一张新拍的街景,它就能自动把新街景也转成同款草图。

你也可以给它一组「小鸟真实照片 → 吉卜力风插画」,然后让它把自家的猫也变成同款动画风;或者拿一张「真人照片 → 定格黏土小人」当范本,让它把另一个朋友也做成黏土质感。

步骤虽然比敲几个单词繁琐了一点,但在风格复刻上非常扎实。

给各种画风搭一个「LoRA 积木库」

光是教 AI 做类比其实并不新鲜,难点在于以往的模型很难学会那些没见过的变化。

传统的微调方法通常是用一个单独的 LoRA 模块去硬背所有的图像变换。但视觉风格千奇百怪,单个模块的空间有限,一旦遇到没见过的冷门风格就容易失效。

研究团队在这里用了一个很聪明的机制:他们构建了一套可学习的 LoRA 基底,就像是一套基础的风格变换积木。

同时,系统里配备了一个轻量级的编码器。当你把那对前后对比图喂进去时,编码器会实时计算出这两种状态之间究竟包含了哪些变换,然后动态给各个基础 LoRA 分配权重。

在单次推理过程中,它就能把这些权重动态揉合在一起,拼出最贴合这次任务的专属模型,大幅提升了对全新变换的泛化能力。

为什么重要

我们认为,LoRAWeave 最聪明的地方,在于它避开了大模型在语言表达上的先天模糊性,把「解释风格」的权力还给了视觉本身。

对于设计师、插画师和视觉创作者来说,很多视觉处理手法——比如特定的调色预设、光影质感、某种纸张的肌理——在自然语言里根本没有准确对应的词汇。过去你只能靠撞大运或者反复抽卡,现在只要手头有一张调色前后的原图对比,就能一键批量复刻流程。

这种思路对后续的图像生成工具也是个重要启发。与其逼着用户去学习怎么写出复杂的「咒语」,不如让多模态模型真正学会看图理解上下文,直接把视觉示例当作无监督的指令。

不过,这种工作流目前也有明显的现实门槛。要用好它,你首先得准备好一张高质量、严格配对的「前后对比图」。如果手头没有现成的对比样本,三图机制反而增加了一道准备素材的成本。但只要解决了一次样本问题,后续的确定性和复用价值就远超纯文本提示词。

来源 (1)

  1. [1]

每日 AI 内容精选