跳到正文
IFAI

AIGC

Flux 生圖新玩法:愛好者用 LoRA 實現自定義字型精準渲染

首次發布 傳播指數 37

上週,有愛好者在測試影像生成模型 Flux 時發現,通過訓練 LoRA 可以在生成的畫面中精準復現自定義字型。相比此前模型動輒把英文畫成亂碼,Flux 擅長渲染場景文字,讓使用者能在黑板招牌或名片上塞進指定字型。不過生成時偶爾仍會出現字母拼寫偏差。

Flux 生圖新玩法:愛好者用 LoRA 實現自定義字型精準渲染
圖:arstechnica.com

想在 AI 生成的海報里加一行指定字型的招牌,以前的做法幾乎只有一種:老老實實生成一張背景圖,再拉進 Photoshop 裡手動排版、調透視和光影。

上週,有技術愛好者在擺弄新的影像合成模型 Flux 時發現,這個模型在學習和復刻特定字型上的表現出奇地好。只要配合微調技術,使用者就能讓 Flux 在生成的畫面裡,直接畫出指定字型的文字。

其實用計算機把字型渲染平滑規整,早在 20 世紀 80 年代就已經徹底解決了,研究層面甚至能追溯到 70 年代。單看「讓 AI 臨摹一套字型」,本身並不是什麼新鮮事。

但這套新玩法的特別之處在於,你能把現實中的特定字型,直接塞進一個複雜的視覺場景裡。不管是逼真餐廳裡的黑板手寫選單,還是一隻賽博朋克狐狸手裡拿的名片,字型都能帶著正確的透視、光影和材質自然融進畫面。

讓生圖模型學會認字

自打 Stable Diffusion 這類模型在 2022 年火起來之後,很多人就一直在琢磨,怎麼把自己的產品、衣服、特定角色或者畫風塞進 AI 圖片裡。

當時社群找到的解法是 LoRA。這項在 2021 年被發現的技術,相當於給 AI 底座模型打一個輕量級的定製補丁,使用者用自己準備的樣本訓練出 LoRA,就能給模型補充它原本不擅長或根本沒見過的概念。

在 Flux 出現之前,大部分影像生成模型在處理畫面文字時都一塌糊塗。如果你讓 Stable Diffusion 1.5 畫一個寫著「cheese」的標牌,它大機率只會吐出一堆誰也看不懂的亂碼字元。

去年釋出的 DALL-E 3 是第一個把文字渲染做得像樣的主流模型。但就目前來看,Flux 成了處理這類場景內文字能力最強的模型,即便它偶爾還是會拼錯幾個字母。

正是因為 Flux 本身對字形結構的理解遠超以往,愛好者們通過訓練 LoRA 把字型樣式餵給它後,它才能不僅記住文字內容,還能把指定的字型筆畫準確畫出來。

為什麼重要

這對於做平面設計、品牌營銷和電商視覺的人來說,是個很實用的新思路。

以往 AI 生圖最讓設計師頭疼的,就是畫面質感再好,字型也完全不可控,稍微碰上品牌 VI 規範就必須重回設計軟體手動修圖。如果能直接通過 LoRA 鎖定品牌官方字型,概念海報的製作成本和出圖週期會被大幅壓縮,值得經常做商業宣發素材的人儘早關注並做些小測試。

在行業層面,這也會倒逼其他生圖模型在文字渲染這條賽道上加速。以前大家比拼的是誰的畫風更逼真、光影更自然,現在比拼的焦點正迅速轉移到場景內排版與精準控制上,誰能把文字寫對、寫準,誰就能更快切入真正的生產力工作流。

不過在我們看來,這種做法雖然聰明,但也帶著明顯的侷限。

用生圖模型去渲染字型,本質上是用高昂的算力和機率模型去硬解一個早已被向量技術完美解決的確定性問題。而且 Flux 現在依然存在拼寫錯誤的問題,LoRA 的訓練也需要一定的時間和門檻,它短時間內還無法取代成熟的排版軟體,更像是一個特定場景下的創意加速器。

來源 (1)

  1. [1]
    arstechnica.com(在新分頁開啟)原文arstechnica.com

每日 AI 內容精選