유니메이트: 텍스트 한 줄로 어떤 3D 캐릭터든 움직이는 단일 모델

UniMate는 리깅된 3D 에셋에 텍스트 프롬프트를 입력하면 곧바로 자연스러운 관절 모션을 생성해 주는 오픈소스 기반 모델입니다. 기존의 모션 생성 AI는 대부분 표준 인간형 골격에만 맞춰져 있어 새나 뱀, 사족보행 동물, 기계 장치 등을 넣으면 제대로 작동하지 않았습니다.

UniMate는 이 문제를 해결했습니다. 뼈대가 심어진 3D 모델과 텍스트 한 줄만 있으면 해당 골격에 맞춰 실시간으로 애니메이션을 만들어 냅니다. 골격별 추가 미세조정이나 추론 시점의 최적화 작업도 전혀 필요 없습니다.

무엇을 할 수 있는가

이 모델은 이족보행과 사족보행은 물론 조류, 해양 생물, 곤충, 파충류, 관절이 있는 기계 오브젝트까지 광범위한 골격 구조를 지원합니다. 시연에서는 가필드와 건담, 베이맥스는 물론 꽃이나 인공위성 같은 비인간형 캐릭터까지 하나의 단일 모델로 움직였습니다.

단순 텍스트 모션 생성 외에도 별도 추가 학습 없이 세 가지 제로샷 편집 기능을 제공합니다.

머리 방향은 고정한 채 다리 동작만 새로 걷도록 바꾸는 부분 모션 수정, 시작과 끝 포즈를 지정하고 중간을 부드럽게 채우는 인비트위닝, 그리고 텍스트 지시어를 이어붙여 자연스럽게 동작을 연장하는 모션 확장이 가능합니다.

구현 방식과 공개 범위

UniMate는 골격 구조를 이해하는 토폴로지 인식 디퓨전 트랜스포머를 기반으로 설계되었습니다. 그래프 라플라시안을 활용해 임의의 운동학 트리에 적용할 수 있는 회전 위치 임베딩을 구성하고, 관절 간 거리와 관계를 반영하는 그래프 어텐션 편향을 도입했습니다.

연구진은 Mixamo, Objaverse-XL, Truebones에서 수집한 7,430개 골격과 13,769개 모션 클립으로 구성된 UniML3D 데이터셋을 구축해 플로우 매칭 방식으로 모델을 학습시켰습니다.

본 연구는 SIGGRAPH Asia 2026에 채택되었으며 추론 및 학습 코드, 데이터 처리 파이프라인, Hugging Face 사전학습 가중치가 모두 공개되어 있습니다. 사용자가 보유한 GLB, glTF, FBX 파일을 전처리해 곧바로 적용할 수 있는 도구도 함께 제공됩니다.

왜 중요한가

인디 게임 개발자나 3D 아티스트에게 UniMate는 작업 효율을 극적으로 끌어올려 줄 수 있는 도구입니다. 비인간형 몬스터나 배경 소품에 일일이 키프레임을 잡는 작업은 노동 집약적이었는데, 리깅된 모델만 넣으면 프로토타입 동작을 즉시 뽑아낼 수 있습니다.

골격 유형마다 별도의 모델을 학습시키지 않고 단일 모델로 통합 처리해 낸 점은 매우 영리한 접근입니다. 극단적으로 변형된 골격에서는 여전히 모션 왜곡이 발생할 수 있지만, 3D 캐릭터 애니메이션 파이프라인의 문턱을 크게 낮춘 의미 있는 오픈소스 프로젝트입니다.