画像生成AI「Flux」で独自フォントを再現、LoRA活用の新手法が話題に

AI で生成したポスターに指定のフォントで文字を入れたいとき、これまでは背景画像だけを出力し、Photoshop などのツールで手作業で合成して光や遠近感を調整するのが一般的でした。

先週、新しい画像生成モデルである Flux を検証していた愛好家が、このモデルが特定のフォントを学習して再現する能力において、予想外に優れていることを発見しました。

2021 年に登場した微調整技術である LoRA を組み合わせることで、ユーザーは自前のフォントをモデルに追加学習させ、生成画像の中にそのフォントを使った文字列を直接埋め込めるようになっています。

コンピューターで滑らかなカスタムフォントを描画する技術自体は、1980 年代にすでに確立されており、研究レベルでは 1970 年代にまで遡ります。そのため、AI にフォントを模倣させること自体は特段新しい話ではありません。

しかし今回の手法が面白いのは、生成されるシーンの中に特定のフォントを自然に溶け込ませられる点にあります。写実的なカフェの黒板に書かれたメニューや、サイボーグのキツネが持つ名刺の文字など、光や質感を伴った形で指定フォントを描き出せます。

破綻し続けた文字描画の進化

2022 年に Stable Diffusion などの画像生成モデルが登場して以来、ユーザーは自分の商品やキャラクター、特定の画風をどうやって画像に反映させるかを模索してきました。

その解決策となったのが LoRA でした。ユーザーが用意した追加の学習データをもとに、基盤モデルが本来持っていない概念を拡張できるモジュールです。

しかし、Flux が登場するまで、多くの画像生成モデルは画像内の文字を正確に描くのが非常に苦手でした。Stable Diffusion 1.5 に「cheese」と書かれた看板を描かせようとしても、意味不明な文字列が出力されるのが当たり前でした。

昨年登場した OpenAI の DALL-E 3 が、文字をまともに描ける初めての主流モデルとなりました。Flux も時折スペルを間違えることはあるものの、現時点で空間内の文字を描く能力においては最も優れたモデルと目されています。

もともと文字の構造を理解している Flux だからこそ、LoRA を使ってフォントの形状を教えることで、狙い通りの書体をシーン内に再現できるようになったと言えます。

なぜ重要か

デザイナーやブランドのマーケティング担当者にとって、この手法は実務上の大きな助けになる可能性があります。

これまで商用デザインで AI 画像を使いにくかった最大の理由の 1 つが、ブランドの指定フォントを扱えないことでした。LoRA によって企業フォントを直接シーン内にレンダリングできるようになれば、カンプ制作や広告ビジュアル作成の手間は大幅に削減されます。

業界全体にとっても、競争の軸が単なる「絵の綺麗さ」から「文字を含めた細部の制御性」へとシフトしていることを示しています。ライバル各社も、指定フォントや正確なタイポグラフィのサポートに注力せざるを得なくなるはずです。

ただし、私たちの見立てでは、このアプローチにはまだ課題もあります。

何十年も前にベクター形式で完全に解決されたフォント描画という確定的なタスクを、重い確率モデルで再現するのは計算リソースの観点から効率が良いとは言えません。Flux も依然として単語のスペルミスを起こすことがあり、LoRA の学習にも手間がかかるため、既存のデザインツールを完全に置き換えるものではなく、現時点ではプロトタイピングを加速させる強力な手段と捉えるのが妥当です。