골격 달라도 동작 복사하는 Motion4Motion: 여우 움직임을 기린에 적용

한 영상의 춤 동작을 다른 캐릭터에 입히는 기술은 이미 익숙하지만, 대개는 비슷한 인체 골격을 가진 사람끼리만 가능했습니다.

만약 날렵하게 뛰어다니는 여우의 동작을 목이 길게 뻗은 기린에게 그대로 옮기려 한다면 기존 도구들은 대부분 엉망이 되고 맙니다. 사람 중심의 고정된 뼈대 구조에 지나치게 얽매여 있었기 때문입니다.

연구진은 뼈대라는 제약을 완전히 벗어던진 새로운 영상 동작 전이 프레임워크 'Motion4Motion'을 공개했습니다.

뼈대 대신 픽셀의 흐름을 추적하다

기존의 동작 전이 파이프라인은 대부분 ControlNet 같은 도구를 써서 원본 영상에서 뼈대 좌표를 추출한 뒤 대상에게 강제로 맞추는 방식이었습니다.

하지만 동물은 종마다 체형이 천차만별입니다. 여우와 기린을 동시에 설명할 수 있는 공통 골격 템플릿은 존재하지 않으며, 이종 간의 쌍을 이룬 동작 학습 데이터도 거의 없습니다.

Motion4Motion은 뼈대를 버리고 원본 영상의 조밀한 픽셀 모션 플로우(Motion Flow)를 직접 추적하는 우회로를 택했습니다.

영상 속 여러 지점을 추적해 움직임 흐름 지도를 만든 뒤, 자체 개발한 TransPE 모듈을 통해 대상 캐릭터의 외형과 매핑합니다. 이렇게 계산된 새 위치 정보를 비디오 확산 모델에 주입해 자연스러운 동작을 생성해 내는 구조입니다.

신체 비율과 뼈대 구조가 전혀 달라도, 픽셀 단위 흐름을 기준으로 삼기 때문에 여우의 민첩한 움직임이 기린의 긴 몸뚱이 위에서도 매끄럽게 재현됩니다.

별도 모델 학습 없이 추론 단계에서 직행

더욱 주목할 점은 Motion4Motion이 추가 학습이 전혀 필요 없는(training-free) 방식으로 구현되었다는 사실입니다.

수많은 이종 동물의 영상을 모아 장시간 사전 학습을 거칠 필요도 없고, 입력 영상마다 가중치를 다시 미세 조정할 필요도 없습니다. 모든 과정이 영상 생성 추론 시점에 즉시 처리됩니다.

여우 동작을 기린에 입히는 극단적인 사례뿐 아니라, 일반적인 댄스 동작이나 복잡한 배경 환경에서도 기존 베이스라인 모델들을 압도하는 성능을 입증했습니다.

현재 프로젝트 웹페이지(lhchen.top/Motion4Motion/)를 통해 논문과 다양한 데모 영상이 공개되어 있습니다.

왜 중요한가

디지털 콘텐츠 및 애니메이션 업계에서 사람이 아닌 크리처나 동물에게 자연스러운 움직임을 입히는 리깅 작업은 항상 많은 비용과 시간이 드는 난제였습니다.

Motion4Motion은 복잡한 뼈대 설계 없이도 레퍼런스 영상만 있으면 체형이 완전히 다른 동물에게 동작을 입힐 수 있음을 증명했습니다. 1인 창작자나 소규모 스튜디오가 이질적인 판타지 생명체를 움직이게 만들 때 작업 장벽을 획기적으로 낮춰줄 수 있습니다.

산업적 측면에서는 영상 제어에 반드시 ControlNet이나 포즈 인식 템플릿이 필요하다는 고정관념을 깼다는 데 큰 의미가 있습니다. 데이터가 부족한 이종 캐릭터 영역을 픽셀 단위 모션 흐름과 추론 단계 매핑으로 돌파한 점은 매우 영리한 접근입니다.

여우처럼 역동적으로 움직이는 기린을 만들어낸 이번 성과는, 차세대 생성형 AI가 기하학적 형태의 한계를 넘어 물리적 운동감을 훨씬 자유롭게 통제할 수 있음을 보여줍니다.