跳到正文
IFAI

AIGC

Flux 生图新玩法:爱好者用 LoRA 实现自定义字体精准渲染

首次发布 传播指数 37

上周,有爱好者在测试图像生成模型 Flux 时发现,通过训练 LoRA 可以在生成的画面中精准复现自定义字体。相比此前模型动辄把英文画成乱码,Flux 擅长渲染场景文字,让用户能在黑板招牌或名片上塞进指定字体。不过生成时偶尔仍会出现字母拼写偏差。

Flux 生图新玩法:爱好者用 LoRA 实现自定义字体精准渲染
图:arstechnica.com

想在 AI 生成的海报里加一行指定字体的招牌,以前的做法几乎只有一种:老老实实生成一张背景图,再拉进 Photoshop 里手动排版、调透视和光影。

上周,有技术爱好者在摆弄新的图像合成模型 Flux 时发现,这个模型在学习和复刻特定字体上的表现出奇地好。只要配合微调技术,用户就能让 Flux 在生成的画面里,直接画出指定字体的文字。

其实用计算机把字体渲染平滑规整,早在 20 世纪 80 年代就已经彻底解决了,研究层面甚至能追溯到 70 年代。单看「让 AI 临摹一套字体」,本身并不是什么新鲜事。

但这套新玩法的特别之处在于,你能把现实中的特定字体,直接塞进一个复杂的视觉场景里。不管是逼真餐厅里的黑板手写菜单,还是一只赛博朋克狐狸手里拿的名片,字体都能带着正确的透视、光影和材质自然融进画面。

让生图模型学会认字

自打 Stable Diffusion 这类模型在 2022 年火起来之后,很多人就一直在琢磨,怎么把自己的产品、衣服、特定角色或者画风塞进 AI 图片里。

当时社区找到的解法是 LoRA。这项在 2021 年被发现的技术,相当于给 AI 底座模型打一个轻量级的定制补丁,用户用自己准备的样本训练出 LoRA,就能给模型补充它原本不擅长或根本没见过的概念。

在 Flux 出现之前,大部分图像生成模型在处理画面文字时都一塌糊涂。如果你让 Stable Diffusion 1.5 画一个写着「cheese」的标牌,它大概率只会吐出一堆谁也看不懂的乱码字符。

去年发布的 DALL-E 3 是第一个把文字渲染做得像样的主流模型。但就目前来看,Flux 成了处理这类场景内文字能力最强的模型,即便它偶尔还是会拼错几个字母。

正是因为 Flux 本身对字形结构的理解远超以往,爱好者们通过训练 LoRA 把字体样式喂给它后,它才能不仅记住文字内容,还能把指定的字体笔画准确画出来。

为什么重要

这对于做平面设计、品牌营销和电商视觉的人来说,是个很实用的新思路。

以往 AI 生图最让设计师头疼的,就是画面质感再好,字体也完全不可控,稍微碰上品牌 VI 规范就必须重回设计软件手动修图。如果能直接通过 LoRA 锁定品牌官方字体,概念海报的制作成本和出图周期会被大幅压缩,值得经常做商业宣发素材的人尽早关注并做些小测试。

在行业层面,这也会倒逼其他生图模型在文字渲染这条赛道上加速。以前大家比拼的是谁的画风更逼真、光影更自然,现在比拼的焦点正迅速转移到场景内排版与精准控制上,谁能把文字写对、写准,谁就能更快切入真正的生产力工作流。

不过在我们看来,这种做法虽然聪明,但也带着明显的局限。

用生图模型去渲染字体,本质上是用高昂的算力和概率模型去硬解一个早已被矢量技术完美解决的确定性问题。而且 Flux 现在依然存在拼写错误的问题,LoRA 的训练也需要一定的时间和门槛,它短时间内还无法取代成熟的排版软件,更像是一个特定场景下的创意加速器。

来源 (1)

  1. [1]
    arstechnica.com(在新标签页打开)原文arstechnica.com

每日 AI 内容精选