이미지 생성 AI '뷔르스트헨' 공개: 42배 압축으로 학습 비용 16배 절감

뷔르스트헨(Würstchen)은 높은 연산 효율과 빠른 속도를 앞세운 오픈소스 텍스트-이미지 확산 모델이다. SDXL 대비 훨씬 적은 VRAM을 사용하면서도 눈에 띄게 빠른 속도로 고해상도 이미지를 생성한다.

전례 없는 42배 잠재 공간 압축

기존의 잠재 확산 모델은 대개 이미지를 4배에서 8배 수준으로 공간 압축해 처리한다. 일반적으로 16배를 넘어서면 세밀한 디테일을 복원하지 못하고 이미지가 심하게 뭉개지기 때문이다.

뷔르스트헨은 이 상식을 깨고 42배에 달하는 극단적인 공간 압축을 적용했다. 1024x1024나 1536x1536 같은 대형 해상도 이미지라도, 핵심 생성 작업은 손톱만큼 작은 잠재 공간에서 이루어진다.

이를 가능하게 만든 핵심은 분리형 아키텍처다. VQGAN 기반의 Stage A와 확산 오토인코더인 Stage B가 합쳐진 Decoder가 극도로 압축된 데이터를 픽셀 공간으로 되돌리는 역할을 맡는다.

텍스트 명령어를 이해하고 이미지를 만들어내는 역할은 Stage C인 Prior가 전담한다. Prior는 42배 압축된 초소형 공간 안에서만 확산 연산을 수행하므로, 훈련과 추론 모두에 필요한 연산량이 획기적으로 줄어든다.

학습 비용은 16배 낮추고 접근성은 개선

압축 효율은 고스란히 비용 절감으로 이어졌다. 512x512 해상도의 뷔르스트헨 v1 훈련에 들어간 자원은 단 9,000 GPU 시간에 불과했다. 150,000 GPU 시간이 소요됐던 스테이블 디퓨전 1.4와 비교하면 학습 비용이 16배나 줄어든 셈이다.

최대 1536x1536 해상도를 지원하는 v2 역시 24,602 GPU 시간만 소모해 SD 1.4보다 6배 저렴하다. 연구진은 Prior가 새로운 해상도에 빠르게 적응해 1024x2048 크기에서도 안정적인 결과물을 낸다고 설명했다.

이 모델은 허깅페이스 Diffusers 라이브러리에 완전히 통합되어 기존 파이프라인에서 손쉽게 호출할 수 있다. PyTorch 2.0의 SDPA 가속, 메모리 절약을 위한 CPU 오프로드, 애플 실리콘(MPS)을 지원한다. torch.compile을 적용하면 최초 실행 시 약 2분의 컴파일 시간이 걸리지만, 이후 동일 해상도 생성 속도를 대폭 끌어올릴 수 있다.

왜 중요한가

이미지 생성 AI 분야가 막대한 GPU 자원을 투입하는 규모의 경쟁으로 흐르는 상황에서, 뷔르스트헨은 영리한 잠재 공간 압축을 통해 비용 장벽을 획기적으로 낮춘 모범적인 시도다.

고가의 서버 장비를 갖추지 못한 독립 개발자나 소규모 연구팀도 부담 없이 고해상도 모델을 미세조정하고 실험할 수 있는 길이 열렸다.

다만 42배라는 극단적인 압축률을 거치는 만큼, 미세한 문자 표현이나 아주 복잡한 질감에서 디테일 손실이 발생하지 않는지는 실무 적용 과정에서 꼼꼼히 따져볼 필요가 있다.