DiffSynth-Studio, 이미지 한 장으로 LoRA 만드는 ‘Qwen-Image-i2L’ 오픈소스 공개

Qwen-Image-i2L은 오픈소스 프레임워크 DiffSynth-Studio가 선보인 도구로, 단 한 장의 이미지를 입력받아 해당 이미지를 학습한 LoRA 가중치를 즉시 출력해 줍니다.

기존 이미지 생성 모델에 특정 화풍이나 사물을 반영하려면 수십 장의 데이터셋을 정리하고 GPU를 돌려가며 미세조정을 거쳐야 했습니다. Qwen-Image-i2L은 이 과정을 건너뛰고, 추론 한 번으로 이미지의 시각적 특징을 LoRA 파라미터로 변환합니다.

4가지 모델의 역할과 특징

이 툴킷은 사용 목적에 맞춰 4가지 모델로 나뉘어 제공됩니다.

첫 번째는 2.4B 크기의 Qwen-Image-i2L-Style입니다. SigLIP2와 DINOv3를 비전 인코더로 사용하며, 세부 디테일을 덜 담아내는 대신 일러스트나 스케치 같은 고유의 화풍만 깔끔하게 뽑아내 스타일 전송에 적합합니다.

두 번째는 7.9B 크기의 Qwen-Image-i2L-Coarse입니다. 224x224 해상도의 Qwen-VL을 추가해 피사체의 형태와 구도를 포착하지만 단독 사용은 권장되지 않습니다.

세 번째는 Coarse와 반드시 함께 써야 하는 7.6B 규모의 Qwen-Image-i2L-Fine입니다. Qwen-VL의 인코딩 해상도를 1024x1024로 높여 고해상도 디테일을 채워 넣습니다.

마지막은 30M 크기의 Qwen-Image-i2L-Bias로, 학습 데이터 차이로 인해 어긋난 출력 스타일을 Qwen-Image 본래의 선호도에 맞춰 정렬해 주는 보정용 가중치입니다.

실행 환경과 한계점

현재 코드와 모델 가중치는 GitHub, Hugging Face, ModelScope에 전면 공개되었습니다.

공식 파이프라인에는 디스크 오프로드 기능이 적용되어 있어, GPU VRAM 한계를 넘지 않도록 메모리를 유연하게 관리하며 safetensors 포맷의 LoRA 파일을 뽑아낼 수 있습니다.

또한 Coarse, Fine, Bias를 결합해 만든 가중치는 본격적인 LoRA 파인튜닝 시 초기 가중치로 활용해 학습 수렴 속도를 대폭 줄이는 용도로도 쓸 수 있습니다.

다만 개발팀은 이 도구가 아직 실험적 단계이며, 일반화 성능과 미세한 디테일 보존 측면에서는 개선할 여지가 많다고 밝혔습니다.

왜 중요한가

반복적인 연산과 학습 스크립트가 필수적이었던 LoRA 제작 과정을 단순 추론 작업으로 압축했다는 점에서 의미가 큽니다. 즉각적인 스타일 변환 워크플로의 가능성을 열어준 셈입니다.

독특한 화풍을 빠르게 테스트하고 싶거나 기존 LoRA 학습 시간을 단축할 사전 가중치가 필요한 창작자에게 유용합니다. 다만 캐릭터의 정밀한 이목구비나 복잡한 공학 제품을 오차 없이 재현해야 한다면 아직은 전통적인 학습 방식을 병행해야 합니다.