메타, 뼈대 리깅 없는 3D 아바타 모델 'LUNA' 공개…스케치만으로 구동

3D 캐릭터 애니메이션을 한 번이라도 다뤄본 사람이라면 뼈대를 심고 가중치를 맞추는 리깅 작업이 얼마나 고통스러운지 잘 알고 있을 것입니다. 조금만 격한 동작을 취해도 관절이 찌그러지거나 옷이 찢어지는 왜곡이 흔히 발생하곤 합니다.

메타가 6월 30일 공개한 새로운 3D 인간 애니메이션 모델 LUNA는 이러한 번거로운 파이프라인을 정면으로 우회합니다.

핵심은 전통적인 골격 바인딩(LBS)과 인체 파라메트릭 모델 피팅을 완전히 배제한 것입니다. 움직이고 싶은 인물의 사진 몇 장과 동작 신호만 있으면 곧바로 사실적인 3D 애니메이션을 만들어냅니다.

뼈대를 버리고 2D 신호로 3D 가우시안을 직접 제어하다

지금까지 단안 이미지 기반 3D 인체 애니메이션은 관절 뼈대에 의존하는 선형 블렌드 스키닝(LBS)을 벗어나지 못했습니다. 하지만 단안 카메라 환경에서는 관절 위치를 조금만 잘못 추정해도 화면 떨림이나 기하학적 뭉개짐이 크게 확대되는 한계가 있었습니다.

LUNA는 이런 물리적 뼈대 피팅을 거치지 않고, 2D 제어 신호를 3D 가우시안(3D Gaussian) 변형으로 직접 매핑하는 최초의 엔드투엔드 암시적 제어 모델입니다.

입력 방식의 유연함도 돋보입니다. 별도의 모션 캡처 장비 없이 다른 사람의 일상 움직임 영상은 물론, 2D 키포인트 좌표나 심지어 손으로 대충 그린 스케치 동작만으로도 3D 캐릭터를 구동할 수 있습니다.

내부에는 트랜스포머 기반의 모션 회귀 구조가 자리잡고 있습니다. 신체 전체의 굵직한 위치 이동을 뜻하는 글로벌 강체 운동과, 옷 주름 및 미세한 살결의 움직임을 다루는 로컬 비강체 역학을 분리해 학습함으로써 자연스러움을 극대화했습니다.

인체가 납작해지지 않도록 유도한 하이브리드 학습

골격 구조의 구속 없이 2D에서 3D 변형을 곧바로 배우게 하면, 3D 모델이 얇은 종이처럼 납작하게 무너져 내리는 심각한 모호성 문제가 발생합니다.

연구진은 이를 해결하기 위해 하이브리드 지도 학습 전략을 고안했습니다. 전통적인 LBS 기반 모델을 직접적인 조작자가 아닌 부드러운 구조적 교사 모델로 활용해, 뼈대의 단점은 물려받지 않으면서 기초적인 인체 부피감만 학생 모델에 증류해 준 것입니다.

여기에 동적 가중치 손실 함수를 결합해 정밀 레이블이 있는 소량의 데이터뿐만 아니라 인터넷의 수많은 비라벨 일상 영상까지 대규모로 흡수할 수 있게 만들었습니다. 그 덕분에 본 적 없는 새로운 인물 사진에도 완벽한 제로샷 동작 전이가 가능해졌습니다.

왜 중요한가

우리는 LUNA가 3D 디지털 휴먼 제작의 진입 장벽을 완전히 허물 수 있는 전환점이라고 평가합니다.

인디 게임 개발자나 1인 크리에이터에게 정밀 리깅과 후가공은 가장 많은 시간과 비용이 들어가는 장벽이었습니다. 사진 몇 장과 간단한 스케치 영상만으로 살아 움직이는 3D 자산을 뽑아낼 수 있다면 콘텐츠 제작 생태계의 판도가 크게 바뀝니다.

산업 전반으로 보면, 3D 아바타 기술이 과거의 복잡한 기하학적 뼈대 공식에서 엔드투엔드 신경망 렌더링으로 확실하게 이동하고 있음을 보여줍니다. 메타 역시 메타버스와 공간 컴퓨팅 환경에서 방대한 일반 사용자의 아바타를 손쉽게 구축할 수 있는 강력한 무기를 쥔 셈입니다.

물론 아직은 학술 연구 단계인 만큼 한계도 존재합니다. 뼈대를 없애 유연성을 얻은 대신 언리얼 엔진 같은 전통적 게임 파이프라인에서 디자이너가 관절을 미세하게 수동 조정하거나 물리 충돌을 정밀하게 제어하기는 까다롭습니다. 그럼에도 복잡한 리깅 없이 자연스러운 3D 인체 동작을 구현해 낸 것만으로도 충분히 눈여겨볼 만한 도약입니다.