Wan-Animate-2: 사진 한 장과 영상으로 캐릭터를 움직이는 오픈소스 모델

알리바바가 정지 사진과 안내 영상을 결합해 캐릭터 움직임을 만들어내는 오픈소스 모델 Wan-Animate-2를 공개했습니다. 캐릭터 사진 한 장과 기준 동작이 담긴 영상만 입력하면 전신 동작은 물론 손가락의 섬세한 움직임과 미세한 얼굴 표정까지 대상 캐릭터에 자연스럽게 입혀줍니다.

이 프로젝트는 Apache 2.0 라이선스로 배포되었으며, 추론 코드와 14B 기본 모델 가중치, 빠른 생성을 돕는 증류 모델 가중치가 모두 개방되었습니다.

무엇을 할 수 있는가

기존의 캐릭터 애니메이션 방식은 포즈 추출기나 얼굴 랜드마크 같은 중간 단계를 거치느라 캐릭터의 외형이 일그러지거나 동작이 굳는 문제가 잦았습니다. Wan-Animate-2는 Diffusion Transformer 구조를 개편해 참고 영상과 원본 이미지를 다이렉트로 처리하는 엔드투엔드 방식을 도입하여 일관성을 획기적으로 개선했습니다.

몸통의 큰 움직임뿐 아니라 손가락 관절의 디테일과 복잡한 표정 변화까지 정확하게 포착합니다. 사람뿐 아니라 테디베어나 동물 캐릭터처럼 인체 비율과 다른 비인간 캐릭터도 자연스럽게 움직이게 만들 수 있습니다.

다인원 장면 지원 역시 돋보입니다. 두 명이 포함된 사진과 영상을 입력해 각각의 동작을 매핑할 수 있고, 한 사람의 영상으로 사진 속 여러 캐릭터를 동시에 움직이게 할 수도 있습니다. 텍스트 프롬프트를 통해 카메라 시점을 조절하는 기능도 지원하므로, 정면 영상을 쓰면서도 결과물은 측면 구도로 생성하는 식의 분리가 가능합니다.

구동 환경과 사용법

Wan2.2-Animate-2-14B 기본 모델과 함께 CFG 없이 10스텝만으로 작동하는 Distillation 증류 모델이 제공됩니다. 스트리밍 방송 환경을 겨냥해 지연 시간을 1초 미만으로 단축한 Wan-Animate-2-Lite 버전도 마련되었습니다.

로컬 구동을 위한 하드웨어 사양은 다소 높은 편입니다. 공식 가이드는 8대의 A800 GPU를 기준으로 720P 해상도를 권장하며, 480P 해상도는 2대의 A800 환경에서 테스트되었습니다. 모델 용량은 약 33GB에 달하지만, 크기를 절반 수준으로 줄인 INT8 버전도 함께 배포되었습니다.

소프트웨어 생태계와의 연동도 빠르게 이루어졌습니다. Hugging Face Diffusers와 DiffSynth-Studio는 물론 ComfyUI까지 지원합니다. 고사양 하드웨어가 없다면 ModelScope Studio에 마련된 온라인 데모를 통해 브라우저에서 바로 체험해볼 수 있습니다.

로컬에서 실행하려면 Python 3.11과 PyTorch 2.7 환경을 구축하고 flash-attn을 설치해야 합니다. 추론 전 LLM을 활용해 캐릭터 외형과 배경을 객관적으로 묘사한 프롬프트를 추출한 뒤 스크립트를 실행하면 비디오가 완성됩니다.

왜 중요한가

Wan-Animate-2는 전문 모션 캡처 장비 없이 일반 영상 클립 하나만으로 2D 일러스트나 3D 에셋을 생생하게 움직이게 만듭니다. 인디 애니메이터, 게임 그래픽 디자이너, 버추얼 스트리머 팀에게 제작 비용과 시간을 크게 줄여줄 수 있는 강력한 작업 도구입니다.

중간 골격 추출 단계를 없애 상용 도구에 필적하는 자연스러움을 구현한 점은 매우 인상적입니다. 다만 14B 파라미터 기반의 막대한 GPU 메모리 요구량은 일반 창작자에게 부담스러울 수 있어, 현실적으로는 ComfyUI 기반의 INT8 양자화 모델이나 클라우드 환경을 활용하는 것이 유리합니다.