알리바바, 4단계로 고화질 이미지 뽑는 가속 기술 'CDM' 공개

생성형 AI로 이미지를 만들 때 가장 답답한 부분은 단연 대기 시간입니다. 일반적인 확산 모델은 노이즈를 걷어내는 디노이징 과정을 20~50단계씩 거쳐야 하므로 한 장을 얻는 데 십수 초 이상 걸리기 일쑤였습니다. 추론 과정을 4단계로 줄이는 증류 기술이 나오긴 했지만, 피부나 사물 질감이 플라스틱 인형처럼 뭉개지는 한계가 뚜렷했습니다.

알리바바는 5월 7일, 이러한 문제를 해결한 새로운 가속 기술 'CDM(Continuous-Time Distribution Matching)'을 발표했습니다. 기존 20~50단계가 필요했던 생성 단계를 4스텝으로 줄여 약 5배 빠른 속도를 내면서도 원본에 준하는 화질을 지켜냅니다.

보조 모듈 없이 '플라스틱 질감' 지웠다

그동안 소수 스텝 가속 분야에서는 DMD와 DMD2가 널리 쓰였습니다. 하지만 전통적인 DMD는 몇 개의 고정된 이산 시간 단계에서만 학습을 지도했기 때문에, 결과물이 지나치게 밋밋해지고 플라스틱처럼 반들거리는 왜곡이 잦았습니다. 이를 만회하기 위해 연구진은 보통 무거운 GAN 판별기나 보상 모델을 덧붙여야 했고, 전체 시스템은 점점 복잡해졌습니다.

알리바바의 CDM은 프레임워크 자체를 연속 시간 최적화 방식으로 전환해 문제를 풀었습니다. 고정된 단계를 벗어나 무작위 길이의 동적 연속 스케줄을 적용함으로써, 샘플링 궤적의 어느 지점에서나 분포 매칭이 정밀하게 이뤄지도록 만든 것입니다.

여기에 학생 모델의 속도장을 활용한 능동적 궤적 외 정렬 목표를 도입했습니다. 복잡한 외부 보조 모듈을 주렁주렁 달지 않고도 머리카락이나 미세한 질감 같은 고주파수 디테일을 온전히 보존할 수 있게 된 비결입니다.

SD3와 LongCat 검증, 일반 GPU에서도 수초 만에 생성

연구팀은 Stable Diffusion 3(SD3-Medium)와 LongCat-Image 등 서로 다른 구조의 모델에 CDM을 적용했습니다. 벤치마크 평가 결과, CDM은 DMD2 특유의 플라스틱 느낌을 말끔히 걷어냈을 뿐 아니라 시각적 완성도와 심미성 지표 모두에서 기존 방법들을 앞섰습니다.

일반적인 성능의 소비자용 GPU만 갖추고 있어도 몇 초 만에 고화질 이미지를 뽑아낼 수 있어, 체감상 실시간 상호작용에 가까워집니다. 알리바바는 논문 발표와 함께 코드 저장소를 열고 SD3와 LongCat 지원을 시작했습니다.

왜 중요한가

창작자와 개발자에게 추론 지연 시간은 작업 흐름을 끊는 가장 큰 장벽입니다. 4단계만으로 뭉개짐 없는 이미지를 얻을 수 있다는 것은 고가의 클라우드 서버 없이 로컬 데스크톱에서도 쾌적하게 아이디어를 검증할 수 있음을 뜻합니다.

업계 관점에서도 이번 성과는 의미가 큽니다. GAN이나 복잡한 보상 모델로 결함을 억지로 가리는 미봉책 대신, 샘플링 메커니즘 자체를 연속 최적화로 재설계해 가속 증류의 본질적인 한계를 뚫어냈기 때문입니다.

다만 현재 검증된 모델이 SD3-Medium과 Longcat-Image에 집중되어 있어, Flux나 Qwen 등 커뮤니티에서 활발히 쓰이는 다른 주요 오픈소스 모델로의 빠른 확장이 숙제로 남아 있습니다. 극단적으로 줄어든 스텝 수에서 복잡한 프롬프트 지시를 얼마나 정교하게 반영할 수 있을지도 향후 지켜볼 대목입니다.