알리바바, 음악 맞춰 춤추는 비디오 모델 'Wan-Dancer-14B' 오픈소스 공개

Wan-Dancer-14B는 알리바바 Wan 팀이 오픈소스로 공개한 음악 기반 댄스 비디오 생성 모델입니다. 캐릭터 이미지 한 장과 오디오 파일만 입력하면, 음악의 비트에 맞춰 자연스럽게 춤추는 분 단위의 긴 영상을 레퍼런스 안무 영상 없이 직접 생성합니다.

기존의 AI 댄스 애니메이션 도구들은 대부분 실제 사람이 춤추는 영상에서 모션 스켈레톤을 추출해 덧씌우는 모션 트랜스퍼 방식을 사용했습니다. 반면 Wan-Dancer는 참조 영상이 전혀 필요 없으며, 오디오의 리듬과 분위기를 직접 이해해 캐릭터의 춤을 새롭게 안무합니다.

무엇을 할 수 있나

Wan-Dancer는 힙합, 중국 클래식 무용, K-Pop, 라틴 댄스, 탭댄스 등 다양한 댄스 스타일을 폭넓게 지원합니다.

음악에 맞춰 전자동으로 안무를 짜는 것뿐만 아니라, 사용자가 특정 구간에 키프레임을 직접 삽입해 원하는 동작을 정밀하게 제어할 수도 있습니다.

장시간 영상에서 캐릭터가 일그러지는 문제를 해결하기 위해 계층형 프레임워크를 적용했습니다. 곡 전체의 오디오 맥락을 파악해 전역 키프레임을 먼저 기획한 뒤, 로컬 세부 단계에서 고해상도로 디테일을 다듬는 2단계 파이프라인을 거쳐 수 분 동안 일관된 외형을 유지합니다.

구동 방법과 사양

프로젝트는 Apache 2.0 라이선스로 오픈소스로 배포되었으며, 추론 코드와 체크포인트 가중치, 연구 논문이 모두 공개되어 있습니다.

로컬 구동 요구 사양은 상당히 높습니다. 모델 가중치의 전체 용량이 약 85GB에 달해 고사양 워크스테이션 GPU가 필수적입니다. 로컬 환경 구성이 부담스럽다면 Hugging Face Space나 ModelScope Studio에 마련된 온라인 데모를 통해 바로 체험해 볼 수 있습니다.

추론은 전역 단계 스크립트와 로컬 정밀화 스크립트를 순차적으로 실행하며, 개발진의 계획에 따르면 향후 ComfyUI 워크플로 통합도 지원될 예정입니다.

왜 중요한가

버추얼 크리에이터나 인디 뮤지션, 3D 애니메이터에게 Wan-Dancer는 안무 제작의 높은 진입 장벽을 단숨에 낮춰줍니다. 고가의 모션 캡처 장비나 참고용 댄스 클립을 일일이 찾을 필요 없이 음원 한 곡으로 완성도 높은 댄스 씬을 뽑아낼 수 있습니다.

단순 모션 복제를 넘어 음악 이해와 장기 일관성을 결합한 구조는 매우 영리합니다. 다만 85GB에 이르는 방대한 모델 크기는 일반 창작자에게 상당한 부담이므로, 향후 경량화 양자화 버전이나 ComfyUI 커스텀 노드가 본격적으로 보급되어야 작업 파이프라인에 안착할 수 있을 것으로 보입니다.