비글, 한 프레임 수정으로 영상 전체 캐릭터를 교체하는 ‘Viggle-Animate’ 오픈소스 공개

Viggle-Animate는 영상 속 한 프레임만 수정하면 영상 전체의 캐릭터를 자연스럽게 바꿔주는 오픈소스 비디오 모델입니다.

사용법은 간단합니다. 원본 영상에서 프레임 하나를 추출한 뒤, 이미지 편집 툴이나 AI를 사용해 원하는 새 캐릭터로 덮어 그립니다. 그리고 이 수정된 이미지 한 장과 원본 영상을 모델에 넣기만 하면, 원래 영상의 동작과 카메라 워크, 타이밍을 그대로 새 캐릭터에 이식해 줍니다.

스켈레톤과 마스크 제거, 격렬한 동작도 깔끔하게 추적

기존의 캐릭터 교체 도구들은 포즈 스켈레톤 추출, 누끼를 따는 세그멘테이션 마스크, 얼굴 트래킹 등 복잡한 전처리 모델을 줄줄이 거쳐야 했습니다. 중간 단계가 많을수록 디테일이 깨지기 일쑤였습니다.

Viggle-Animate는 이런 부속 장치를 과감히 없앴습니다. 포즈 추정기나 마스크 채널이 전혀 없고, 영상 생성 단계에서는 텍스트 인코더조차 불러오지 않습니다.

참조 이미지가 영상의 실제 한 장면을 기반으로 그려졌기 때문에, 조명과 구도, 자세가 이미 완벽하게 맞아떨어집니다. 덕분에 머리를 세게 흔들거나 발차기, 점프 같은 격렬한 동작에서도 신체가 뭉개지지 않고 프레임 단위로 또렷하게 추적됩니다.

인간의 골격 구조에 얽매이지 않아 확장성도 뛰어납니다. 동물이나 클레이 피규어, 로봇은 물론, 비행기 같은 사물을 인간의 관절 움직임에 바인딩해 춤추게 만드는 것도 가능합니다.

3번의 포워드 패스로 단일 GPU에서 26초 렌더링

기술적으로는 오픈소스 영상 모델인 MiniMax-H3의 ref2va 트랜스포머를 33.1B 규모로 파인튜닝하고, DMD 증류 기술을 적용해 단 3번의 포워드 패스(3 steps)만으로 영상을 뽑아냅니다.

단일 B200 GPU에서 124프레임(480×832, 24fps, 약 5.2초)을 렌더링하는 데 걸린 시간은 26초에 불과합니다. 40번의 패스를 거치며 160초가 걸리는 Wan2.2-Animate-14B보다 6.1배 빠르며, 샘플링 시간만 따지면 10배 이상 빠릅니다.

다만 하드웨어 요구 사양은 높은 편입니다. 저장소에는 약 66GB 분량의 트랜스포머 가중치와 2.5GB LoRA가 제공되며, bf16 원본으로 돌리려면 최소 96GB 이상의 VRAM을 갖춘 GPU가 필요합니다. VRAM이 부족하면 CPU 오프로드를 쓸 수 있지만 속도는 떨어집니다. 제작팀은 32GB RTX 5090에서 NVFP4 양자화로 구동하는 데 성공했으나, 해당 배포 스크립트는 아직 포함되지 않았습니다.

복잡한 상호작용이나 컷 전환에는 한계가 있지만, 립싱크의 경우 `--audio` 인자를 넘겨 오디오 VAE로 소리를 고정해주면 대사에 맞춰 입모양이 정확하게 맞물립니다.

가중치와 코드는 Hugging Face에 공개되어 있으며, ComfyUI 커스텀 노드와 온라인 데모에서도 직접 써볼 수 있습니다.

왜 중요한가

영상 속 캐릭터를 바꿀 때 모델이 짊어져야 할 부담을 영리하게 분리했습니다. 캐릭터의 생김새와 움직임을 비디오 모델 하나로 동시에 해결하려 들지 않고, 외형과 조명 일치는 정지 화상 편집 툴에 먼저 맡긴 뒤 비디오 모델은 이를 시공간으로 전파하는 데만 집중하게 만들었습니다.

영상 제작자나 3D 아티스트 입장에서는 마음에 드는 정지 프레임 하나만 공들여 작업하면 복잡한 3D 리깅이나 모션 캡처 없이도 완성도 높은 애니메이션을 뽑아낼 수 있는 실용적인 도구입니다.