SCAIL-2 오픈소스 공개: 다중 캐릭터 난투부터 동물까지 동작을 그대로 복사하는 비디오 AI

SCAIL-2는 ZAI가 오픈소스로 공개한 엔드투엔드 비디오 모션 전송 및 캐릭터 애니메이션 모델입니다. 레퍼런스 비디오 속 동작을 다른 캐릭터에 그대로 입혀주며, 중간에 뼈대를 추출하는 과정이 전혀 필요하지 않습니다.

기존 포즈 인식 도구에서 자주 발생하던 사지 뒤틀림이나 모션 누락 없이, 픽셀 단위로 직접 자연스러운 움직임을 복사합니다.

어떤 작업을 할 수 있는가

가장 돋보이는 부분은 다중 캐릭터의 복잡한 상호작용 처리입니다. 두 인물이 서로 뒤엉켜 싸우는 격렬한 격투 장면에서도 SCAIL-2는 두 캐릭터의 위치와 관절 움직임을 안정적으로 추적해 새로운 배경과 캐릭터에 완벽히 동기화합니다.

인간이 아닌 동물 캐릭터로의 동작 전송도 지원합니다. 춤추는 사람의 영상을 넣고 대상을 플라밍고로 지정하면, 조류의 체형에 맞춰 사람의 리듬과 궤적을 그럴듯하게 재구성해 냅니다.

기형적인 신체 비율을 가진 만화 캐릭터나 뚱뚱한 크리처 이미지도 형태를 알아서 파악해 움직임을 부여합니다. 캐릭터 교체 모드에서는 원본 영상의 카메라 무빙까지 온전히 보존되며, 512p 및 704p 해상도로 손 뭉개짐이나 깜빡임이 적은 영상을 만들어냅니다.

구현 방식과 핵심 기술

기존 애니메이션 도구들은 관절 스켈레톤이나 인페인팅 마스크 같은 중간 표현에 과도하게 의존했습니다. 이 때문에 캐릭터가 겹치거나 동물처럼 뼈대 구조가 다르면 인식이 멈춰버렸습니다.

SCAIL-2는 중간 포즈 표현을 아예 걷어냈습니다. 연구진은 6만 개의 합성 모션 쌍을 구축하고, 전용 마스킹 채널과 RoPE 설계를 갖춘 통합 모션 전송 인터페이스를 개발했습니다. 여기에 선호도 정렬 기법인 Bias-Aware DPO를 결합해 세부 묘사를 끌어올렸습니다.

색상으로 인코딩된 마스크를 통해 모델에 배경과 캐릭터 영역의 대응 관계를 직접 전달하기 때문에, 여러 각도의 참조 이미지를 입력받는 제로샷 생성도 유연하게 처리합니다.

실행 방법과 사양 한계

GitHub 저장소에 공식 추론 코드, 학습 코드, ComfyUI 연동 노드가 모두 공개되어 있습니다.

다만 로컬 환경에서 구동하기 위한 진입 장벽은 꽤 높습니다. Hugging Face에 업로드된 체크포인트는 Wan VAE와 T5 모듈 등을 포함해 총 용량이 약 81GB에 이릅니다.

소비자용 단일 그래픽카드로는 구동이 벅차기 때문에, 일반 사용자는 향후 커뮤니티에서 배포할 양자화 버전이나 GGUF 경량화 모델을 기다리는 편이 좋습니다.

왜 중요한가

애니메이터나 인디 게임 개발자에게 모션 리타게팅은 늘 손이 많이 가고 고된 작업이었습니다. 특히 사람의 움직임을 괴물이나 동물 등 이종 캐릭터로 옮길 때 생기는 수작업 보정을 오픈소스 모델 하나로 크게 단축할 수 있습니다.

상용 폐쇄형 비디오 모델과 견주어도 손색없는 카메라 추종력과 다중 캐릭터 제어력을 갖췄고, 훈련 코드까지 투명하게 열렸다는 점이 인상적입니다. 경량화 버전이 보급되어 로컬 워크플로에 안착한다면 오픈소스 영상 제작의 핵심 엔진이 될 가능성이 충분합니다.