3D 모델 뼈대 자동 추정하는 'Skin Tokens': 게와 갑충까지 한 번에 리깅

AI로 정교한 3D 모델을 만드는 데는 몇 초면 충분하지만, 그 캐릭터를 자연스럽게 움직이게 만드는 일은 여전히 애니메이터들에게 악몽과 같습니다.

3D 파이프라인의 최대 병목인 리깅 때문입니다. 메쉬 안에 뼈대(스켈레톤)를 심고, 관절이 꺾일 때 표면이 어떻게 늘어날지 결정하는 스키닝 가중치를 칠하는 작업은 고도의 수작업을 요구합니다. 인간형 캐릭터라면 템플릿이라도 쓰지만, 다리가 여러 개인 게나 단단한 껍질을 가진 곤충은 기존 자동화 도구로 감당하기 어려웠습니다.

연구진이 발표한 논문은 이 난제를 정조준합니다. 연구팀은 스키닝을 이산 토큰으로 변환하는 'Skin Tokens'와 이를 학습하는 통합 프레임워크 'TokenRig'를 공개했습니다.

고차원 회귀 대신 '토큰 예측'으로 풀다

기존 자동 스키닝이 번번이 실패했던 이유는 문제를 지나치게 비효율적인 고차원 연속 회귀로 다뤘기 때문입니다. 게다가 뼈대를 생성하는 과정과 스키닝 단계가 따로 놀아, 움직일 때 메쉬가 찢어지거나 고무처럼 늘어지는 현상이 잦았습니다.

TokenRig는 표현 방식 자체를 뜯어고쳤습니다. 연구진은 FSQ-CVAE를 활용해 스키닝 데이터의 희소성을 압축하고, 이를 'Skin Tokens'라는 컴팩트한 이산 토큰으로 바꿨습니다.

쉽게 말해 복잡한 메쉬 변형 규칙을 대규모 언어 모델이 다루는 단어 토큰처럼 만든 셈입니다. 골격 파라미터와 Skin Tokens를 하나의 시퀀스로 묶어 자기회귀 모델에 입력함으로써, 뼈의 위치와 피부 변형 사이의 복잡한 상관관계를 동시에 학습하도록 설계했습니다.

여기에 기하학적·의미론적 보상을 주는 강화학습 단계를 더해 낯선 형태의 모델에도 대응하게 만들었습니다. 논문에 따르면 Skin Tokens 표현 방식을 통해 스키닝 정확도가 기존 SOTA 대비 98%에서 133%까지 향상됐으며, 강화학습으로 미세조정된 TokenRig의 뼈대 예측 정확도 역시 17%에서 22% 개선됐습니다.

카피바라부터 전갈까지 척척 리깅

가장 눈에 띄는 점은 비인간형 캐릭터를 다루는 범용성입니다.

대다수 기존 도구는 인간형 골격 템플릿에 맞춰져 있어 모델의 팔다리 구조가 조금만 달라져도 오작동했습니다. 반면 Skin Tokens는 조류, 사족보행 동물, 뱀, 상어는 물론 다리가 복잡한 게, 딱정벌레, 전갈, 카피바라까지 자연스럽게 처리합니다.

관절이 많고 외골격이 맞물린 모델이라도 알맞은 뼈대 구조를 추정하고 훌륭한 스키닝 가중치를 뽑아냅니다. 출력된 결과물은 그대로 게임 엔진이나 애니메이션 제작 툴로 넘겨 모션을 입힐 수 있습니다.

왜 중요한가

그동안 3D 생성 AI가 쏟아낸 수많은 에셋은 사실상 움직이지 못하는 '박제'에 가까웠습니다. 우리는 메쉬 변형을 토큰 시퀀스로 재정의해 스켈레톤과 스키닝을 한 번에 풀어낸 이번 접근이 매우 영리한 기술적 돌파구라고 봅니다.

인디 게임 개발자나 소규모 스튜디오에게 이번 연구는 실질적인 구원투수가 될 수 있습니다. 기괴한 크리처나 곤충 캐릭터를 리깅하려면 며칠씩 씨름하거나 외주 비용을 써야 했는데, 초안 리깅을 몇 분 만에 자동으로 얻을 수 있다면 제작 진입장벽이 크게 낮아집니다.

다만 아직은 학술 연구 단계로, 블렌더(Blender)나 마야(Maya)에서 바로 쓸 수 있는 플러그인 형태로 배포된 것은 아닙니다. 극단적으로 과장된 카툰 풍 캐릭터나 미세한 천 시뮬레이션에서는 여전히 전문가의 손길이 필요할 것입니다. 그럼에도 AI로 만든 3D 정적 모델이 살아 숨 쉬는 게임 캐릭터로 넘어가는 마지막 빗장이 풀리기 시작했습니다.