비디오 증류 기술 PDMD 오픈소스 공개: MiniMax-H3 4스텝 초고속 생성

PDMD는 오픈소스 비디오 생성 모델인 MiniMax-H3의 추론 과정을 기존 20~30스텝에서 단 4스텝으로 줄여주는 새로운 증류(Distillation) 프레임워크입니다.

생성 속도를 대폭 단축하면서도, 과도한 증류 과정에서 흔히 발생하는 화질 저하와 디테일 뭉개짐 문제를 깔끔하게 해결했습니다.

무엇을 할 수 있나

MiniMax-H3를 사용해 비디오를 생성하려면 통상 20단계에서 30단계의 디노이징 과정이 필요해 많은 시간과 연산 자원이 소모되었습니다.

여기에 PDMD를 적용하면 단 4스텝(4 NFE) 만에 비디오가 완성됩니다. 렌더링에 걸리던 대기 시간이 획기적으로 줄어듭니다.

속도뿐 아니라 결과물의 완성도도 유지됩니다. 다른 4스텝 증류 기법들과 비교했을 때, PDMD는 역동적인 움직임 표현과 세부 텍스처, 프레임 간 일관성 유지 측면에서 뚜렷한 우위를 보여줍니다. 영상 및 음질 벤치마크 테스트에서도 기존 증류 방식들의 평균 성능을 앞섭니다.

어떻게 동작하나

이 기술의 핵심은 증류 과정에서 '심판' 역할을 하는 평가기의 오류를 바로잡은 데 있습니다.

기존 확산 모델 증류 기법(예: DMAD)은 학생 모델과 원본 교사 모델의 차이를 비교하는 평가기(Critic)를 두고, 그 차이를 좁혀나가는 방식으로 학습을 진행합니다. 문제는 평가기 모델 자체도 완벽하지 않다는 점입니다. 평가기가 잘못 판단해 보낸 피드백이 학생 모델에 그대로 전달되면서 이미지가 흐려지거나 아티팩트가 생기는 현상이 반복되었습니다.

PDMD(Projected Distribution Matching Distillation)는 학습 신호 중에서 평가기의 오류로 인해 발생하는 노이즈 성분을 식별한 뒤, 이를 투영(Projection)해 걸러냅니다. 잘못된 지도를 사전에 차단함으로써 학생 모델이 4스텝이라는 극단적으로 짧은 경로에서도 원본 모델의 고화질 표현력을 그대로 흡수할 수 있게 만들었습니다.

어떻게 실행하나

연구진은 Hugging Face를 통해 논문과 코드, 가중치를 모두 오픈소스로 공개했습니다. 사용자의 하드웨어 환경에 맞춰 두 가지 방식을 선택할 수 있습니다.

첫 번째는 약 66GB 크기의 수정된 기본 모델 전체 가중치(pdmd_4NFE_full)로, 충분한 VRAM을 갖춘 작업 환경에서 곧바로 4스텝 추론을 실행할 수 있습니다.

두 번째는 약 1.4GB 크기의 가벼운 LoRA 어댑터(pdmd_4NFE_lora)입니다. 양자화된 MiniMax-H3 모델 위에 이 LoRA만 얹어 구동할 수 있어 리소스 부담이 훨씬 적습니다. 3D 트랜스포머를 제외한 VAE나 텍스트 인코더는 기존 베이스 모델 구성을 그대로 사용합니다.

Hugging Face의 Diffusers 라이브러리를 통해 몇 줄의 파이썬 코드로 간편하게 불러올 수 있으며, Draw Things 같은 로컬 실행 앱과 구글 코랩(Colab) 환경도 지원합니다.

왜 중요한가

개인 창작자와 개발자에게 로컬 비디오 생성의 가장 큰 걸림돌은 긴 생성 시간이었습니다. 프롬프트 하나를 테스트하는 데 몇 분씩 걸리던 환경에서, 단 1.4GB짜리 LoRA로 4스텝 출력이 가능해진 것은 작업 효율 면에서 큰 변화입니다.

기술적으로도 매우 영리한 접근입니다. 극소 스텝 증류에서 발생하는 화질 저하가 단순히 정보 손실 때문이 아니라 평가기의 불완전한 피드백 때문임을 짚어내고 이를 수학적으로 해결했습니다. 이 방식이 다른 오픈소스 비디오 모델로 확장된다면 오픈소스 생태계의 비디오 생성 속도는 한 단계 더 도약할 것으로 보입니다.