FlexAvatar 공개: 사진 1장으로 2분 만에 360도 3D 아바타 생성

사진 한 장으로 3D 아바타를 만들 때 정면은 그럴듯하지만, 시점을 조금만 돌리면 뒤통수가 납작하게 비어버리거나 표정이 일그러지는 문제를 자주 겪게 됩니다.

연구진이 공개한 FlexAvatar는 이 해묵은 한계를 해결하려는 시도입니다. 일반적인 단 한 장의 인물 사진만 있으면 2분 만에 360도 어디서 보아도 온전하고 표정 제어가 가능한 3D 헤드 아바타를 만들어냅니다.

시점 이동과 표정 변화를 깔끔하게 분리하다

단안 카메라 기반 영상으로 3D 모델을 학습할 때 생기는 고질적인 문제는 머리 회전과 표정 변화 신호가 뒤엉킨다는 점입니다. 모델 입장에서는 얼굴이 돌아간 것인지 근육이 움직인 것인지 구분하기 어렵기 때문입니다.

FlexAvatar는 트랜스포머 기반 인코더-디코더 구조에 DINOv2와 3D 가우시안 스플래팅(3DGS) 렌더링 방식을 결합했습니다. 입력된 단일 이미지를 잠재 아바타 코드로 변환한 뒤 이를 3DGS로 디코딩합니다.

핵심 비결은 '편향 싱크(bias sinks)'라 부르는 학습 가능한 데이터 소스 토큰입니다. 이를 통해 수집이 쉬운 단안 영상 데이터의 강력한 일반화 성능과, 다중 뷰 데이터가 주는 완전한 3D 입체 정보를 하나의 모델 안에서 안정적으로 통합 학습시켰습니다.

학습을 마친 모델은 시점 각도와 표정 제어 변수를 독립적으로 조작할 수 있습니다. 뒤통수 형태를 온전히 유지하면서도 자유자재로 말하거나 표정을 짓게 할 수 있는 이유입니다.

2분 만에 완성, VRAM은 1.7GB면 충분

결과물의 품질뿐 아니라 하드웨어 요구 사양도 매우 실용적입니다. 아바타 모델 하나를 완전히 생성하는 데 걸리는 시간은 약 2분입니다.

렌더링 단계에서는 RTX 3090 그래픽카드 기준 1.7GB라는 매우 적은 VRAM만 사용하며, 초당 20 FPS 속도로 실시간 구동됩니다. 잠재 공간이 매끄럽게 구성되어 있어 여러 장의 사진을 넣어 완성도를 높이거나 서로 다른 인물의 얼굴을 자연스럽게 섞는 보간 작업도 가능합니다.

왜 중요한가

우리는 FlexAvatar가 고가의 다각도 스캐닝 장비에만 기대지 않고, 데이터 설계 방식을 통해 단안 데이터의 단점을 똑똑하게 풀어냈다는 점에 주목합니다.

인디 게임 개발자나 버추얼 스트리머, XR 메타버스 창작자에게 이는 캐릭터 제작 비용을 극적으로 낮춰주는 무기가 될 수 있습니다. 복잡한 3D 모델링이나 후보정 없이 일반 사진 1장과 2분의 시간만으로 애니메이션 가능한 아바타를 확보할 수 있기 때문입니다.

특히 1.7GB 수준의 가벼운 VRAM 점유율은 상용화 관점에서 강력한 장점입니다. 값비싼 클라우드 서버 없이 일반 게이밍 PC 환경에서도 다른 소프트웨어와 함께 부담 없이 아바타를 띄울 수 있습니다.

다만 20 FPS는 실시간 인터랙션의 마지노선에 가까워 60 FPS 수준의 매끄러움을 얻기 위해선 추가 최적화가 필요합니다. 단일 사진의 조명이 극단적이거나 머리카락 가림이 심할 때의 복원 완성도 역시 향후 실사용 환경에서 더 검증되어야 할 부분입니다.