다중 캐릭터 애니메이션 오픈소스 모델 'CoDance' 공개

CoDance는 정지 이미지 속의 다양한 캐릭터를 하나의 동작 시퀀스에 맞춰 자연스럽게 춤추게 만드는 다중 주체 애니메이션 오픈소스 프레임워크입니다.

기존 단일 인물 중심의 생성 기술은 이미 높은 수준에 도달했으나, 여러 캐릭터가 한 화면에 등장하거나 동작 시퀀스와 원본 캐릭터의 위치가 어긋나면 이미지가 심하게 왜곡되는 한계가 있었습니다. 포즈와 픽셀 좌표를 억지로 일치시키려는 경직된 구조 때문이었습니다.

위치 구속을 풀고 동작을 다시 결합하는 방식

CoDance는 이러한 공간적 불일치를 해결하기 위해 '해제-재결합(Unbind-Rebind)' 구조를 도입했습니다.

첫 단계인 Unbind 모듈은 포즈 시프트 인코더를 통해 동작과 잠재 특성에 무작위 섭동을 가합니다. 이를 통해 모델이 절대적인 좌표 위치에 얽매이지 않고 위치와 무관한 순수 동작 표현을 추출하도록 유도합니다.

이어지는 Rebind 모듈은 텍스트 프롬프트의 의미 안내와 캐릭터별 마스크의 공간 안내를 결합해, 추출된 동작을 각 대상에게 정확하게 전달합니다.

결과적으로 입력된 동작 데이터의 위치가 원본 이미지와 완벽히 맞지 않더라도, 다수의 캐릭터가 엉키지 않고 지정된 동작을 매끄럽게 수행합니다.

전용 벤치마크 구축과 전체 오픈소스 공개

연구팀은 다양한 다중 주체 환경을 검증하기 위해 새로운 평가 벤치마크인 CoDanceBench를 함께 제시했습니다.

실험 결과 CoDance는 기존 공개 벤치마크는 물론 CoDanceBench에서도 최고 수준의 성능을 기록하며, 캐릭터 유형이나 배치 구도에 상관없이 안정적인 생성 품질을 입증했습니다.

프로젝트 관련 코드와 모델 가중치는 공식 사이트를 통해 전체 공개되어 있어 누구나 직접 설치해 활용할 수 있습니다.

왜 중요한가

숏폼 콘텐츠 제작자나 버추얼 캐릭터 애니메이터라면 주목할 만한 도구입니다. 이전에는 여러 캐릭터를 같은 박자로 움직이게 하려면 캐릭터마다 개별 렌더링 후 합성하거나 정밀한 수작업 배치가 필수적이었습니다.

동작을 위치와 분리해 다시 매핑하는 기술적 접근은 매우 영리하며 실용적입니다. 앞으로 복잡한 다중 에이전트 상호작용이나 집단 군무 영상 제작에서 중요한 표준 기법으로 자리잡을 가능성이 높습니다.