Stability AI, 이미지 속 텍스트 똑똑하게 그리는 'DeepFloyd IF' 공개

DeepFloyd IF는 Stability AI와 산하 연구소 DeepFloyd가 공개한 텍스트-투-이미지 캐스케이드 픽셀 확산 모델이다. 기존 생성 모델들이 가장 버거워하던 약점인 '이미지 속 정확한 글자 표현'을 해결하는 데 초점을 맞췄다.

그동안 이미지 생성 AI에 간판이나 문구를 넣으라고 주문하면 대부분 알 수 없는 외계어를 그려내기 일쑤였다. DeepFloyd IF는 프롬프트에 적힌 영단어를 뭉개짐 없이 선명하게 새겨 넣고, 여러 사물의 공간 배치도 지시대로 조율해 낸다.

무엇을 할 수 있나

DeepFloyd IF는 복잡한 프롬프트 이해도와 실사 묘사력에서 두각을 나타낸다. COCO 벤치마크에서 제로샷 FID 점수 6.66을 기록하며 오픈형 이미지 생성 모델 중 최상위권의 사실감을 증명했다.

정사각형 규격에 갇히지 않고 가로나 세로 등 비표준 화면 비율을 자연스럽게 생성하는 기능도 기본 지원한다.

추가 학습 없이 스타일을 바꾸는 제로샷 이미지 변환도 가능하다. 원본 이미지를 64픽셀 크기로 줄여 노이즈를 넣은 뒤 새 프롬프트로 노이즈를 걷어내는 방식으로, 뼈대 구도를 그대로 유지하면서 그림체나 특정 영역의 디테일을 바꿔치기할 수 있다.

어떻게 구현했나

잠재 공간에서 연산하는 기존 Stable Diffusion과 달리, DeepFloyd IF는 픽셀 공간에서 직접 확산을 수행하는 캐스케이드 방식을 취했다.

구조는 모듈형이다. 먼저 베이스 모델이 64픽셀 해상도의 밑그림을 만들어내면, 뒤를 잇는 초해상도 모델들이 단계별로 해상도를 뻥튀기하며 고화질 결과물로 다듬어 올린다.

텍스트 인코더로는 대형 언어 모델인 T5-XXL-1.1을 통째로 얹었다. 풍부한 텍스트-이미지 크로스 어텐션 레이어가 결합되어 프롬프트 속 묘사를 픽셀 단위까지 빈틈없이 연결한다.

학습에는 LAION-5B에서 10억 개의 고품질 쌍만 추려낸 LAION-A 데이터셋이 쓰였다. 유사도 해시를 통한 중복 제거와 커스텀 필터를 거쳐 워터마크나 성인물 등 불필요한 데이터를 말끔히 덜어냈다.

라이선스와 사용 방법

현재 DeepFloyd IF는 비상업적 연구 라이선스로 배포된 상태다. 코드는 GitHub에 올라와 있으며, 모델 가중치는 Hugging Face에서 사용 조건에 동의한 후 내려받을 수 있다.

직접 환경을 구축하기 부담스럽다면 Hugging Face Spaces에 마련된 Gradio 데모를 통해 브라우저에서 바로 사용해 볼 수 있다. Stability AI는 피드백을 모은 뒤 향후 완전 오픈소스 라이선스로 전환할 계획이다.

왜 중요한가

이미지 속 타이포그래피와 복잡한 지문 해석은 오픈소스 생성 모델의 오랜 골칫거리였다. 거대한 T5-XXL을 인코더로 붙이고 픽셀 캐스케이드 방식을 적용한 이번 모델은 언어 모델의 지능이 이미지 생성 품질을 얼마나 끌어올릴 수 있는지 보여준다.

다만 고용량 언어 모델과 다단계 픽셀 처리가 결합된 만큼 요구하는 하드웨어 사양이 만만치 않고, 지금은 연구 라이선스라 당장 상용 서비스에 붙이기는 어렵다. 그럼에도 글자 렌더링이나 제어 가능한 이미지 생성을 연구하는 개발자라면 지금 가장 먼저 테스트해 봐야 할 강력한 도구다.