1~2단계만에 고화질 이미지 생성하는 'NitroFusion 2' 오픈소스 공개

NitroFusion 2는 확산 모델의 이미지 생성 과정을 단 1~2단계로 압축해 주는 새로운 오픈소스 증류 모델입니다.

알리바바의 이미지 생성 모델 Z-Image를 기반으로 제작되었습니다. Z-Image는 사실적인 질감 표현과 스타일, 복잡한 텍스트 렌더링에 강점이 있지만 가속 버전인 Z-Image Turbo조차 보통 8단계 안팎의 생성이 필요했습니다. NitroFusion 2는 이 과정을 극한까지 줄여 단 한 번의 스텝으로도 쓸만한 이미지를 뽑아냅니다.

무엇을 할 수 있나

기존의 빠른 확산 모델들은 통상 4~8단계 범위에서 작동했습니다. 무리하게 1단계로 줄이면 세부 묘사가 뭉개지고 글자가 깨지며 프롬프트를 제대로 반영하지 못하는 한계가 있었습니다.

NitroFusion 2는 1단계 설정에서도 선명한 타이포그래피와 미세한 디테일을 유지합니다. 단순히 형태만 흉내 내는 수준을 넘어 실제 사용할 수 있는 이미지를 만듭니다.

생성 단계를 2단계로 늘리면 주요 벤치마크 전반에서 기존 다단계 생성 모델들과 대등하게 경쟁할 수 있는 품질을 보여줍니다.

핵심 동작 원리

기존 적대적 확산 증류 방식은 주로 완성된 이미지 픽셀의 특징을 보고 판별기를 학습시켰습니다.

하지만 멀티모달 확산 트랜스포머(MMDiT) 구조에서는 텍스트 스트림과 이미지 스트림이 결합 어텐션을 통해 정보를 주고받습니다. 텍스트 스트림은 이미지 정보를 읽어들이면서도 프롬프트 조건을 계속 유지한다는 특성을 지닙니다.

연구진은 이 점에 착안해 중간 텍스트 토큰 상태를 적대적 표현으로 활용하는 TSAD(Text-Stream Adversarial Distillation) 기술을 도입했습니다. 여기에 텍스트 배합, 스타일, 객체 등 특정 측면에 판별 기준을 맞추는 ACD 기술을 더해 극소수의 스텝에서도 핵심 세부 사항이 날아가지 않도록 잡아냈습니다.

사양과 실행 방법

모델 가중치와 소스코드가 모두 공개되어 있어 Diffusers 라이브러리나 ComfyUI를 통해 로컬 PC에서 바로 실행할 수 있습니다.

Hugging Face에 올라온 표준 BF16 모델 용량은 약 12GB입니다. 용량을 줄인 압축 버전도 함께 제공되기 때문에 고가의 워크스테이션이 아닌 일반 소비자용 GPU 환경에서도 무리 없이 구동됩니다.

구체적인 실행 방법과 연동 가이드는 프로젝트 깃허브 저장소에 상세히 정리되어 있습니다.

왜 중요한가

로컬 환경에서 ComfyUI로 이미지를 생성하거나 실시간 대화형 인터페이스를 구현하려는 창작자에게 매우 유용한 도구입니다. 1~2초도 걸리지 않는 속도로 고품질 결과물을 얻을 수 있어 프롬프트 실험 주기가 획기적으로 줄어듭니다.

픽셀 공간에만 매달리던 기존 증류 방식에서 벗어나 MMDiT의 텍스트 스트림을 영리하게 활용했다는 점이 돋보입니다. 초고속 생성에서 가장 먼저 무너지기 쉬운 텍스트 렌더링을 살려내면서 속도와 품질을 동시에 챙겼다는 점에서 실용성이 높습니다.