Diffusers, SDXL용 T2I-Adapter 지원: 용량 94% 대폭 절감

T2I-Adapter-SDXL은 26억 개 파라미터를 가진 Stable Diffusion XL(SDXL) 모델을 선화, 스케치, 포즈, 깊이 맵 등으로 정밀하게 제어할 수 있도록 돕는 초경량 플러그앤플레이 모듈입니다.

그동안 이미지 생성 제어에는 ControlNet이 표준처럼 쓰였지만, SDXL 환경에서는 연산 부담이 지나치게 컸습니다. ControlNet-SDXL은 1251M 파라미터에 fp16 기준 모델 크기만 2.5GB에 달합니다. 게다가 UNet 인코더를 복제해 사용하는 구조 탓에, 디노이징 과정의 매 스텝마다 UNet과 ControlNet을 동시에 연산해야 해 생성 속도가 크게 저하되었습니다.

T2I-Adapter는 대형 베이스 모델을 그대로 고정한 채, 79M 파라미터 수준의 작은 네트워크로 외부 제어 신호를 모델의 내부 지식과 정렬합니다. ControlNet 대비 파라미터 수를 93.69% 줄였으며, 용량은 158MB에 불과합니다. 197.78M 파라미터 크기인 ControlLoRA보다도 훨씬 가볍습니다.

가장 큰 성능 차이는 동작 방식에서 나옵니다. 매 스텝마다 돌아가는 ControlNet과 달리, T2I-Adapter는 전체 디노이징 과정 중 단 한 번만 실행되므로 생성 속도와 GPU 메모리 병목을 대폭 해소합니다.

무엇을 할 수 있나

Hugging Face Diffusers 팀과 원작자들의 협업으로 관련 파이프라인이 diffusers 라이브러리에 공식 통합되었으며, 사전 학습된 가중치와 학습 스크립트도 함께 공개되었습니다.

현재 오픈된 가중치는 라인아트, 스케치, Canny 엣지, 깊이(MiDaS 및 Zoe), OpenPose 등 널리 쓰이는 주요 제어 방식을 모두 지원합니다. 이 모델들은 LAION-Aesthetics V2에서 선별한 300만 건의 고해상도 이미지-텍스트 쌍을 바탕으로 학습되었습니다.

사용법도 직관적입니다. StableDiffusionXLAdapterPipeline을 호출해 프롬프트와 제어 이미지를 넣으면 되며, 제어 강도를 조절하는 adapter_conditioning_scale과 생성 초기 몇 % 단계까지 어댑터를 개입시킬지 결정하는 adapter_conditioning_factor 옵션을 지원합니다. 별도 설치 없이 테스트해볼 수 있는 Hugging Face Space 데모와 낙서를 고화질 이미지로 바꿔주는 Doodly 데모도 제공됩니다.

왜 중요한가

SDXL 환경에서 정밀한 구도 제어를 시도할 때 일반 소비자용 GPU 사용자들이 가장 먼저 맞닥뜨리는 장벽은 VRAM 부족과 느린 속도였습니다. T2I-Adapter는 용량을 158MB로 압축하고 연산 횟수를 1회로 줄여, 단일 GPU나 저비용 클라우드 인프라에서도 SDXL 기반 제어 파이프라인을 쾌적하게 배포할 수 있는 길을 열었습니다.

미세한 엣지 제어의 절대적인 정확도에서는 ControlNet이 여전히 앞서는 영역이 있겠지만, 대부분의 실무 작업에서는 이 정도의 메모리 절감과 속도 개선이 훨씬 더 실용적인 가치를 제공합니다.