단 한 번의 단계로 이미지 생성하는 'RDM' 공개…4단계 모델 능가

RDM(Representation Distribution Matching)은 이미지 생성을 단 1회의 순방향 추론(1-step)으로 압축하는 새로운 오픈소스 기술입니다.

일반적인 확산 모델로 이미지를 만들려면 30~50단계의 노이즈 제거 과정을 거쳐야 합니다. 속도를 개선한 Turbo나 Flash 모델도 4~10단계는 필요합니다. 실시간 상호작용 서비스에서는 이 몇 단계의 지연 시간조차 큰 병목이 됩니다. RDM은 단 한 번의 네트워크 연산으로 고화질 이미지를 즉시 출력하는 것을 목표로 합니다.

1단계 생성을 구현한 방식

기존의 가속 기법들은 온라인 교사 모델을 복잡하게 연결하거나 적대적 생성(GAN) 방식에 의존하는 경우가 많아 학습이 불안정했습니다.

RDM은 실시간 교사 모델이나 적대적 판별자, 복잡한 궤적 추적 없이 작동합니다. 사전 학습된 고정 인코더들을 활용해, 생성된 이미지와 실제 이미지가 지닌 고차원 시각 특징의 분포 자체를 직접 일치시키는 원리입니다.

핵심은 단일 인코더를 신뢰하지 않는 데 있습니다. 가령 DINOv2 같은 단일 인코더 하나만 보고 학습시키면, 점수는 만점을 찍어도 실제 육안으로는 명백히 가짜 티가 나는 편법이 발생합니다. RDM은 여러 인코더를 동시에 배치하고, 기준을 맞추기 어려운 공간에 가중치를 더 부여하는 라그랑주 제어기를 도입해 모델이 꼼수를 쓰지 못하게 막았습니다.

텍스트-이미지 생성에서는 텍스트와 이미지의 결합 분포를 함께 매칭하여 프롬프트 반영력도 정밀하게 유지합니다.

4단계 교사 모델을 넘어서는 성적

실측 결과는 놀랍습니다. 14개 인코더로 측정한 실제 데이터와의 거리 지표(SW r14)에서 실제 이미지가 1.00일 때 RDM은 1.30을 기록했습니다. 이전 1단계 모델 최고 기록(2.05)을 크게 앞섰을 뿐만 아니라, 여러 다단계 확산 모델보다도 실제 사진에 더 가까운 수치를 보였습니다.

학습에 사용되지 않은 인간 선호도 지표 PickScore 평가에서는 생성 결과물의 63.6%가 실제 사진보다 더 선호되었습니다. 이전 최우수 1단계 모델과의 비교에서도 71.2%의 승률을 거두었습니다.

실제 모델 개선 효과도 입증되었습니다. 기존 4단계 모델인 FLUX.2(klein)를 90 H200 GPU 시간 동안 사후 학습시켜 1단계 모델로 변환한 결과, GenEval 벤치마크 점수는 원본 4단계의 0.794에서 0.826으로 올랐고, PickScore 역시 22.58에서 22.76으로 상승했습니다. 단 1회 추론으로 원본 4단계 모델의 성능을 넘어선 것입니다.

현재 프로젝트 페이지를 통해 전체 소스 코드가 공개되어 있으며, 로컬 환경에서 실행할 수 있는 상세 가이드도 함께 제공됩니다.

왜 중요한가

이미지 생성이 4단계에서 1단계로 줄어드는 것은 단순한 체감 속도 향상을 넘어섭니다. 실시간 캔버스 드로잉, 인터랙티브 그래픽 생성, 대규모 상용 API의 서빙 비용을 파격적으로 낮출 수 있는 전환점입니다.

그동안 단 1단계로 생성하는 모델은 속도를 얻는 대신 품질을 포기한 임시방편으로 취급받았습니다. RDM은 올바른 분포 매칭과 다중 특징 제어를 사용한다면 단 1단계 모델이 원래의 다단계 모델보다 더 뛰어난 결과물을 낼 수 있음을 보여주었습니다.

단 한 번의 연산으로 화면을 구성하기 때문에 아주 미세하고 복잡한 질감에서 미세한 오차가 발생할 가능성은 아직 남아 있습니다. 하지만 극장급 속도의 이미지 생성이나 온디바이스 적용을 고민하는 개발자라면 지금 즉시 코드를 내려받아 테스트해 볼 가치가 충분합니다.