跳到正文
IFAI

AIGC

Google 推出 StyleDrop:只需一张图,三分钟学会专属设计风格

首次发布 传播指数 37

Google 推出风格迁移方法 StyleDrop。它基于 Muse 文生图模型,仅需单张参考图就能捕捉配色、光影和纹理,微调极少数参数即可在三分钟内完成学习,风格控制效果优于 LoRA 和 DreamBooth。

Google 推出 StyleDrop:只需一张图,三分钟学会专属设计风格
图:the-decoder.com

给 AI 换风格这件事,一直是个玄学。

你给模型一张独特的插画,让它按这个调子画一只猫,它要么把原画里的东西原样搬过去,要么画出来只有两分像,关键的笔触和阴影全丢了。

Google 团队带来了一个叫 StyleDrop 的新工具,想一次性解决风格迁移里的跑偏问题。

一张图加三分钟,吃透一种画风

StyleDrop 是基于 Google 旗下的 Muse 文本生成图像模型研发的。

它的胃口很小,用户只需要提供一张参考图片作为输入。

输入之后,它能精准抓取画面的配色方案、阴影过渡、设计纹理,以及那些很难用提示词描述的局部和全局特效。

背后的技术逻辑也很轻量。它没有去大动干戈重训底层大模型,而是只微调极少量的可训练网络参数。

微调完成后,模型会先尝试生成一组样本。

接着,系统通过 CLIP 分数自动筛选,或者由人工直接挑选出最符合原图质感的样本进行第二轮迭代。

这里筛选的标准很明确:不是看它有没有复制画面里的物体,而是看它有没有抓准画面的风格骨架。

整个过程只需要不到十几张图片做迭代训练。按照研究团队的说法,哪怕中间加入人工挑选反馈,跑完整个流程也不到三分钟。

风格归它,物体归 DreamBooth

在生成式 AI 领域,此前大家做微调通常依赖 Dreambooth、LoRA 或者 Textual Inversion。

但 Google 团队表示,无论在 Imagen 还是 Stable Diffusion 体系下,StyleDrop 的风格迁移效果都明显优于这些已有方案。

团队提到,StyleDrop 对材质纹理、光影明暗和画面结构的捕捉细腻程度,超过了以前的方法,让创作者对画面风格有了更强的控制权。

更实用的地方在于组合能力。

熟悉生图工具的人都知道,DreamBooth 擅长记住一个具体的物体或角色,但抓画风并不算强项。

Google 把 StyleDrop 和 DreamBooth 绑在了一起。一个负责风格,一个负责主体,让 Muse 既能认出特定的专属物品,又能用全新的艺术风格把它画出来。

为什么重要

商业设计和品牌营销最怕的事情,就是视觉资产的失控与走形。

以往企业想让生成式 AI 帮忙做图,往往要喂几十上百张图去炼 LoRA,费时费力不说,不同画师的笔触混在一起,出来的图经常风格漂移。

StyleDrop 带来的最大改变,是把品牌资产的数字化门槛压到了一张图和三分钟以内。对于独立设计师或企业视觉团队来说,这意味着今天敲定了一版主视觉海报,几分钟后就能让 AI 按照同样的调性扩展出全套运营物料。

我们认为,Google 这次最聪明的做法,是把主体识别与风格控制彻底拆开,让 StyleDrop 和 DreamBooth 各司其职。以前大家总想用一个权重文件解决所有问题,结果就是主体变异或者风格稀释。

不过在当前阶段,StyleDrop 的局限也写在明处。它目前深度绑定在 Google 内部的 Muse 模型上,并没有直接向开源社区全面开放可用代码或权重。

如果它最终只能留在 Google 自己的云端工具链里,对大部分使用 Stable Diffusion 的一线创作者来说,吸引力就会大打折扣。但它验证的技术路线,很可能会倒逼开源社区迅速跟进类似的轻量化微调机制。

来源 (1)

  1. [1]
    the-decoder.com(在新标签页打开)原文the-decoder.com

每日 AI 内容精选