바이트댄스 'DMAD' 공개: 영상 생성 단계 4스텝으로 대폭 단축

AI 영상 생성을 직접 돌려본 사람이라면 누구나 긴 대기 시간의 지루함을 안다. 프롬프트를 넣은 뒤 20스텝에서 30스텝, 많게는 50스텝에 달하는 디노이징 과정을 거쳐야 해 불과 몇 초짜리 클립 하나를 얻는 데도 몇 분씩 기다려야 했다.

바이트댄스가 최근 공개한 'DMAD'(Distribution Matching as Adversarial Distillation, 분포 매칭 기반 적대적 증류)는 이 병목을 해결하기 위한 기술이다. 목적은 명확하다. 복잡한 영상 생성 단계를 단 4스텝으로 압축하는 것이다.

하나의 백본과 두 개의 판별 헤드

디퓨전 모델은 노이즈로부터 조금씩 형상을 찾아가는 구조라 스텝 수가 줄어들면 화면이 뭉개지거나 디테일이 깨지기 십상이다. 20스텝 이상 걸리던 과정을 한 자릿수로 줄이면서 화질을 지켜내는 것이 증류 기술의 핵심 과제다.

DMAD는 기존 대형 모델을 '교사(Teacher)'로 두고, 4스텝만으로 영상을 만들어내는 '학생(Student)' 모델을 훈련하는 방식을 취한다. 생성된 샘플과 교사 모델 출력, 실제 데이터에 노이즈를 더한 뒤 판별기를 통해 검증을 거친다.

구조 설계가 꽤 영리하다. 하나의 공유 백본(Backbone) 위에 두 개의 판별 헤드를 얹은 형태로, 두 헤드 사이의 차이를 기반으로 가중치를 매겨 학생 모델의 학습 방향을 잡아준다. 추가 네트워크 부담 없이도 실제 데이터 분포를 정밀하게 따라갈 수 있도록 만든 셈이다.

1.4GB LoRA로 로컬 구동 가능

이 기법은 특정 모델에 얽매이지 않는다. MiniMax-H3뿐만 아니라 Wan2.1, 나아가 SDXL이나 EDM 같은 기존 이미지 모델에도 폭넓게 적용된다.

MiniMax-H3-33B 기반의 4스텝 테스트 결과에서는 화려한 깃털 드레스를 입고 물가를 걷는 모습, 스톱모션 스타일의 종이접기 용이 날아가는 장면, 심지어 음성이 동기화된 대화 영상까지 매끄러운 움직임과 선명한 질감을 유지했다.

개발자가 직접 테스트해보는 문턱도 낮다. 프로젝트 코드와 로컬 실행 가이드가 공개되었으며, 베이스 모델만 갖추고 있다면 DMAD 적용에 필요한 LoRA 가중치는 약 1.4GB 수준에 불과하다.

왜 중요한가

영상 AI의 핵심 경쟁력은 이제 단순히 그릴 수 있느냐를 넘어, 얼마나 빠르고 저렴하게 뽑아내느냐로 넘어가고 있다. 클립 하나를 만드는 데 몇 분씩 걸리는 환경에서는 대화형 인터페이스나 실시간 편집 도구를 구현하기 어렵다. 추론 단계를 80% 이상 쳐내는 기술은 영상 생성의 실용성을 결정짓는 분기점이다.

창작자와 독립 개발자에게도 의미가 크다. 33B 규모의 대형 영상 모델이라도 1.4GB 남짓의 경량 LoRA만 얹으면 4스텝으로 출력이 가능해져, 컴퓨팅 비용과 작업 대기 시간을 획기적으로 아낄 수 있다.

업계 관점에서는 디퓨전 모델의 스텝 압축 기술이 폐쇄적인 노하우에서 범용적인 증류 표준으로 자리 잡아가고 있음을 보여준다. 공유 백본을 활용한 효율적인 적대적 증류가 다양한 멀티모달 모델에서 유효함을 증명한 만큼, 앞으로의 영상 파운데이션 모델 경쟁은 모델 크기뿐 아니라 최소 스텝 구동 효율을 중심으로 재편될 가능성이 크다.