SupraLabs, 스마트폰에서도 돌아가는 1억 파라미터 이미지 모델 'Supra2-IMG' 오픈소스 공개

Supra2-IMG는 파라미터 수가 약 1억 400만 개(104M)에 불과하고, 모델 용량도 약 417MB 수준인 초소형 텍스트-이미지 생성 모델이다. 스마트폰이나 소형 기기, 엣지 디바이스에서 직접 오프라인으로 이미지를 생성하도록 설계됐다.

현재 널리 쓰이는 주류 이미지 생성 모델들이 보통 수십억 파라미터에 달하는 것과 비교하면, SupraLabs는 크기를 수십 배 가까이 압축해 낸 셈이다.

단 한 장의 GPU로 9시간 만에 학습

Supra2-IMG는 고품질 합성 데이터셋을 활용해 바닥부터 새로 학습된 초경량 Diffusion Transformer(DiT) 모델이다.

텍스트 인코더로는 동결된 Google Flan-T5-Base(컨텍스트 길이 128 토큰)를 사용하고, VAE는 Stability AI의 검증된 SD-VAE-FT-MSE를 조합했다.

학습 데이터는 FLUX-Reason-6M 데이터셋에서 선별한 560만 장의 이미지를 사용했다. 구도, 개체, 텍스트, 스타일 등의 순서로 프롬프트를 정제한 뒤 총 10에포크 동안 학습을 진행했다.

인상적인 부분은 학습 비용이다. Runpod의 단일 Nvidia H100 SXM 80GB GPU 한 장에서 데이터 전처리를 포함해 단 9시간 만에 학습을 끝냈다. 벤치마크 결과는 FID 27.9, CLIP 점수 29.4를 기록했다.

실행 방법과 한계

Hugging Face의 transformers 라이브러리를 통해 직접 불러오거나, 제공되는 inference.py 스크립트를 다운로드해 터미널에서 바로 실행할 수 있다.

권장 설정은 Euler flow 샘플러 기준 50스텝, CFG 스케일 3.0이다. 모델 가중치를 메모리에 올리는 데는 채 1초도 걸리지 않는다.

다만 파라미터가 극도로 적은 만큼 결과물의 해상도는 256x256으로 고정되어 있다. 거대 모델 수준의 정교한 묘사나 복잡한 텍스처를 기대하기는 어렵다.

현재 가중치는 Hugging Face에 전체 공개되어 있으며, Google Colab과 Kaggle 노트북도 제공된다.

왜 중요한가

우리는 Supra2-IMG가 온디바이스 생성 AI 연구에서 꽤 영리한 이정표를 세웠다고 본다. 417MB 수준의 용량 덕분에 클라우드 서버나 비싼 API 없이도 저사양 기기에서 오프라인 시각화 프로토타입을 손쉽게 구현할 수 있다.

잘 정제된 합성 데이터만으로도 1억 파라미터급 DiT가 기본적인 텍스트 이해와 이미지 구성을 해낼 수 있음을 보여줬다. 모바일이나 임베디드 기기에서 가벼운 로컬 생성기를 테스트해보고 싶은 개발자라면 한 번쯤 돌려볼 만하다.