이미지 생성 AI 'Flux'로 원하는 폰트 넣는다… LoRA 활용법 발견

AI로 만든 포스터나 간판에 특정 폰트를 넣고 싶을 때, 지금까지는 배경 이미지만 따로 뽑아 포토샵으로 가져간 뒤 일일이 합성하고 원근감과 조명을 맞추는 수밖에 없었습니다.

지난주 신규 이미지 생성 모델인 Flux를 테스트하던 한 사용자가, 이 모델이 사용자 지정 폰트를 학습해 재현하는 데 놀라울 정도로 능숙하다는 사실을 발견했습니다.

2021년에 처음 등장한 미세조정 기법인 LoRA를 활용하면, 사용자가 원하는 폰트를 학습시켜 Flux가 생성하는 이미지 안에 해당 서체로 된 글자를 직접 새겨 넣을 수 있습니다.

컴퓨터로 매끄러운 폰트를 렌더링하는 기술은 1980년대에 이미 완성되었고, 연구 단계까지 따지면 1970년대까지 거슬러 올라갑니다. 따라서 AI가 특정 폰트를 흉내 낸다는 사실 자체는 그리 대단한 뉴스가 아닐 수 있습니다.

하지만 이번 발견이 흥미로운 이유는 현실 속 특정 폰트를 복잡한 3D 공간 연출 속에 자연스럽게 녹여낼 수 있다는 점입니다. 사실적인 레스토랑의 칠판 메뉴판이나 사이보그 여우가 들고 있는 명함 속 텍스트처럼, 질감과 조명이 반영된 장면에 원하는 폰트를 그대로 입힐 수 있게 되었습니다.

이미지 모델의 고질병이었던 텍스트 구현

2022년 Stable Diffusion 같은 오픈소스 모델이 주목받기 시작한 이후, 창작자들은 자신의 제품이나 의류, 특정 캐릭터나 화풍을 이미지에 주입할 방법을 끊임없이 찾아왔습니다.

그 해답으로 자리 잡은 것이 바로 LoRA였습니다. 사용자가 준비한 데이터를 바탕으로 베이스 모델에 없는 새로운 개념을 가볍게 추가 학습시키는 모듈 형태의 기술입니다.

Flux 이전까지 대부분의 이미지 생성 모델은 장면 내에 정확한 텍스트를 그리는 데 매우 취약했습니다. Stable Diffusion 1.5에 'cheese'라는 단어가 적힌 표지판을 그리라고 명령하면 외계어 같은 엉뚱한 문자들을 뱉어내기 일쑤였습니다.

지난해 공개된 OpenAI의 DALL-E 3가 텍스트를 제대로 표현하기 시작한 첫 번째 주류 모델이었지만, 현재로서는 Flux가 장면 속 텍스트를 가장 잘 다루는 모델로 평가받고 있습니다. 물론 지금도 가끔 철자를 틀리는 실수를 범하긴 합니다.

Flux 자체가 텍스트의 형태와 공간 배치에 대한 이해도가 높다 보니, LoRA로 폰트 스타일을 가르쳤을 때 글자 모양을 왜곡 없이 정확하게 구현해 낼 수 있는 것입니다.

왜 중요한가

브랜드 디자이너나 광고 마케터에게는 작업 방식을 크게 바꿀 수 있는 실용적인 변화입니다.

기존 상업 디자인에서 생성형 AI를 쓰기 까다로웠던 핵심 이유 중 하나는 브랜드 고유의 전용 서체를 쓸 수 없다는 점이었습니다. 만약 LoRA를 통해 브랜드 폰트를 직접 장면에 녹여낼 수 있다면, 시안 제작 단계에서 후가공에 들던 시간과 비용을 크게 아낄 수 있습니다.

산업 전반에서도 이미지 생성의 경쟁 기준이 단순히 '화풍이 얼마나 그럴듯한가'에서 '원하는 텍스트와 그래픽 요소를 얼마나 정밀하게 통제할 수 있는가'로 옮겨가고 있음을 보여줍니다. 경쟁 모델들도 텍스트 제어 기술 개발에 더 큰 압박을 받게 될 것입니다.

다만 우리가 보기에 이 방식이 완벽한 해결책은 아닙니다.

벡터 기술로 수십 년 전에 완벽히 해결된 서체 렌더링을 무거운 생성 AI의 확률 연산으로 처리하는 것은 다소 비효율적인 접근이기도 합니다. Flux가 여전히 철자 오류를 내기도 하고 LoRA 학습에도 리소스가 드는 만큼, 전문 편집 툴을 완전히 대체하기보다는 빠른 비주얼 프로토타이핑을 돕는 유용한 보조 수단으로 보는 것이 타당합니다.