이미지 속 글자 왜곡 잡는 ‘GlyphPrinter’ 공개…한중일 문자 정밀 렌더링

생성형 AI로 이미지를 만들 때 가장 흔하게 마주치는 난관은 바로 이미지 속에 들어가는 글자다.

영단어는 그럭저럭 흉내 내더라도 한글, 한자, 일본어, 태국어처럼 획이 복잡한 문자를 입력하면 획이 제멋대로 빠지거나 세상에 없는 기괴한 가짜 문자가 튀어나오기 일쑤였다.

푸단대학교와 난양공과대학교 연구팀이 이러한 문제를 해결하기 위해 오픈소스 텍스트 렌더링 프레임워크인 ‘GlyphPrinter’를 공개했다. CVPR 2026에 채택된 이 프로젝트는 추론 코드와 모델 가중치, 전용 데이터셋까지 허깅페이스를 통해 모두 배포됐다.

전체 그림 대신 ‘글자 영역’만 콕 집어 교정한다

기존 이미지 모델이 글자를 똑바로 쓰지 못했던 이유는 이미지 전체를 한꺼번에 평가했기 때문이다. 배경이 아무리 완벽해도 구석에 적힌 글자 한 획이 틀렸을 때 전체 이미지를 기준으로 피드백을 주면, 모델은 글자를 고치려다 배경 구도까지 망가뜨리기 십상이었다.

GlyphPrinter는 오픈소스 기반 모델인 FLUX.1-dev 위에 ‘R-GDPO(영역 그룹화 직접 선호도 최적화)’라는 새로운 방식을 적용했다.

연구팀은 글자 영역의 세부 오차를 라벨링한 데이터셋 ‘GlyphCorrector’를 구축했다. 학습은 2단계로 진행된다. 먼저 다국어 텍스트 이미지로 기본 성능을 미세 조정한 뒤, 글자가 들어가는 국소 영역만을 집중적으로 비교·학습시켜 모델이 획의 왜곡과 구조적 오류를 스스로 바로잡도록 만들었다.

추론 단계에서는 국소 영역 보상 유도(RRG) 기법을 함께 적용해 별도의 무거운 외부 보상 모델 없이도 정확한 글자 모양을 통제할 수 있게 했다.

다국어는 물론 돌에 새긴 음각 문자까지 구현

GlyphPrinter의 가장 눈에 띄는 장점은 언어의 범용성과 재질 표현력이다.

미래 도시 배경의 게임 포스터를 생성하면서 특정 일본어 제목과 부제를 요구하면 가나와 한자를 누락 없이 그려낸다. 복잡한 한자나 한글, 프랑스어, 표기가 까다로운 태국어까지도 형태 붕괴 없이 정확하게 찍어낸다.

단순히 평면에 글자를 얹는 수준에 그치지 않는다.

동굴 암벽에 새겨진 고대 기호, 풍화된 석비의 음각 문자, 길거리 벽면의 그래피티, 케이크 위에 크림으로 쓴 축하 문구까지 주변 조명과 재질의 입체감에 맞춰 자연스럽게 융합된 결과물을 만들어낸다.

왜 중요한가

그동안 포스터, 광고 배너, 상세 페이지를 제작할 때 이미지 생성 AI는 ‘배경 제작용’에 머무르는 경우가 많았다. 글자가 뭉개지는 탓에 결국 포토샵으로 글씨를 따로 얹어야 했기 때문이다. GlyphPrinter는 국소 영역 튜닝만으로도 이미지 내 텍스트의 상용화 수준 렌더링이 가능함을 입증했다.

기술적으로는 거대언어모델(LLM)에서 쓰이던 DPO 정렬 방식을 이미지의 특정 영역으로 좁혀 적용한 영리한 설계가 돋보인다. 이 접근법은 문자뿐 아니라 손가락 왜곡이나 브랜드 로고처럼 AI가 자주 틀리는 세부 디테일을 잡는 데도 폭넓게 응용될 수 있다.

FLUX.1-dev를 기반으로 해 로컬 구동 시 상당한 수준의 GPU 사양이 요구되지만, 가중치와 데이터셋이 완전히 개방된 만큼 오픈소스 생태계와 디자인 워크플로에 빠르게 흡수될 것으로 보인다.