메타, 셀카 4장으로 움직이는 초실사 아바타 만드는 'Avat3r' 공개

가상공간에서 불쾌한 골짜기를 넘어선 실사풍 아바타를 만들려면 지금까지는 엄청난 대가를 치러야 했습니다. 100대가 넘는 카메라가 달린 특수 촬영 부스에 들어가거나, 스마트폰을 들고 3분 넘게 65가지 표정을 지은 뒤 고성능 GPU 4대로 몇 시간을 렌더링해야 했습니다.

Meta와 뮌헨 공과대학교 연구진이 발표한 새 논문 Avat3r는 이 번거로운 과정을 완전히 뒤흔들었습니다. 스마트폰 셀카 단 4장만 있으면 몇 분 만에 표정을 움직일 수 있는 실사 헤드 아바타를 만들어냅니다.

100대의 카메라 대신 셀카 4장으로

Meta는 6년 넘게 실사형 아바타를 연구해 왔습니다. 최고 품질 버전은 놀라울 만큼 정교하지만, 일반 사용자가 접근할 수 없는 초고가 장비가 필수적이었습니다.

이번 Avat3r는 대형 재구성 모델(LRM, Large Reconstruction Model) 개념을 기반으로 합니다. 거대언어모델이 텍스트를 처리하듯, 비전 트랜스포머(ViT) 구조를 사용해 3차원 공간 정보를 다룹니다.

모델은 단 4장의 셀카를 입력받아 곧바로 3D 가우시안(3D Gaussians)을 예측해 냅니다. 최근 Varjo Teleport나 Meta의 Horizon Hyperscapes 등에서 화제가 된 3D 가우시안 스플래팅 기술을 사람의 얼굴 생성에 적용한 셈입니다.

하지만 아직 상용화 단계는 아닙니다. 아바타 생성은 몇 분이면 끝나지만, RTX 3090 그래픽카드에서 렌더링 프레임이 초당 8프레임(8 FPS)에 불과합니다. 실시간 상호작용에는 턱없이 부족한 수치입니다. 현재 애니메이션 시스템 역시 VR 헤드셋의 얼굴 및 시선 추적 센서와 직접 연동되지는 않았으나, 연구진은 센서 입력 적용 자체는 충분히 가능하다고 밝혔습니다.

왜 중요한가

일반 사용자 입장에서 실사 아바타 도입의 가장 큰 장벽은 '귀찮음'이었습니다. 셀카 4장만 찍으면 끝나는 방식은 진입 장벽을 완전히 허물어뜨립니다. 다만 현재 8 FPS에 머무는 렌더링 성능 때문에 당장 퀘스트 헤드셋에서 실시간으로 써볼 수 있는 수준은 아니며, 지금 당장 기대하기보다는 연구 단계의 청사진으로 보는 것이 맞습니다.

업계 측면에서는 복잡한 하드웨어 스캔 위주였던 3D 아바타 제작 파이프라인이 AI 기반 추론 모델로 전환되는 계기를 마련했습니다. 카메라를 수십 대 동원해 모든 각도를 일일이 캡처하지 않아도, 사전 학습된 트랜스포머가 부족한 각도의 디테일을 채워줄 수 있음을 입증했기 때문입니다.

우리가 보기에 사용자 측 데이터 수집 부담을 극단적으로 줄인 Meta의 선택은 매우 똑똑한 방향입니다. 현재 8 FPS라는 낮은 구동 속도가 한계로 지목되지만, AI 추론 경량화와 가우시안 스플래팅 최적화 속도를 감안하면 이 문제는 시간이 지나면서 해결될 가능성이 큽니다. 결국 몇 분 만에 셀카로 나만의 실사 아바타를 만드는 미래가 생각보다 훨씬 가까워졌습니다.