Luma, 확산 모델 한계 넘는 새 사전학습 기술 'IMM' 오픈소스 공개

Inductive Moment Matching(이하 IMM)은 Luma가 오픈소스로 공개한 차세대 생성형 사전학습 알고리즘이다. 확산 모델(Diffusion Model)의 고질적 단점인 느린 추론 속도와 과도한 샘플링 단계를 해결하기 위해 설계되었다.

기존의 디노이징 스코어 매칭이나 확률미분방정식 기반 설계를 벗어나 단일 목적 함수를 사용하는 모멘트 매칭 방식을 도입했다. 샘플링 단계를 최대 30분의 1로 줄이면서도 화질 면에서는 일반 확산 모델과 Flow Matching을 앞질렀다.

확산 모델의 병목을 어떻게 풀었나

2020년 이후 연속 신호 생성 분야는 사실상 확산 모델이 지배해 왔다. 하지만 확산 모델은 모델 크기를 아무리 키워도 최적 해에 도달하려면 자잘한 추론 단계를 수없이 거쳐야 한다는 구조적 한계를 안고 있었다.

대표적인 DDIM 샘플러만 보더라도, 현재 타임스텝의 입력을 바탕으로 다음 단계로 선형 보간하는 구조여서 단일 단계에서 표현할 수 있는 능력에 명확한 한계가 있었다.

IMM은 네트워크에 현재 타임스텝뿐만 아니라 건너뛸 목적지인 '목표 타임스텝'을 함께 입력받도록 구조를 바꿨다. 이 작은 변화 덕분에 각 추론 단계의 유연성이 비약적으로 높아졌다.

수학적으로는 15년 전 정립된 최대 평균 불일치(MMD) 기법을 결합했다. 덕분에 학습 과정이 불안정하고 하이퍼파라미터 세팅이 까다로웠던 일관성 모델(Consistency Models)과 달리, 단 하나의 목적 함수만으로 다양한 환경에서 안정적인 학습이 가능하다.

벤치마크 결과와 오픈소스 공개

벤치마크 테스트에서 IMM은 기존 확산 모델 대비 10배 이상의 샘플링 효율 향상을 증명했다.

ImageNet 256x256 테스트에서 IMM은 샘플링 스텝을 30배 줄이고도 1.99 FID를 기록해 확산 모델(2.27 FID)과 Flow Matching(2.15 FID)을 모두 제쳤다. 처음부터 학습한 CIFAR-10 데이터셋에서도 불과 2단계 샘플링만으로 1.98 FID를 달성했다.

Luma는 현재 GitHub(lumalabs/imm)에 전체 코드와 사전학습 가중치 체크포인트를 공개한 상태다. ArXiv를 통해 세부 수학적 원리를 다룬 기술 논문과 추론 확장 관련 논문도 함께 열람할 수 있다.

왜 중요한가

시각 생성형 AI의 상용화 과정에서 가장 큰 병목은 언제나 과도한 추론 비용과 지연 시간이었다. 대다수 연구팀이 사후 증류 기법으로 타협점을 찾으려 했던 것과 달리, IMM은 사전학습 알고리즘 자체를 추론 효율 중심으로 다시 짜면 속도와 품질을 동시에 잡을 수 있음을 보여줬다.

멀티모달 기초 모델이나 이미지 생성 모델을 직접 학습시키는 연구자라면 즉시 코드를 받아 검토해 볼 가치가 충분하다. 몇 년간 확산 모델 일색이던 사전학습 패러다임에 의미 있는 대안을 제시했다는 점에서 주목할 만하다.