알리바바, LHM 공개: 사진 한 장으로 몇 초 만에 움직이는 3D 아바타 생성

사진 한 장을 움직일 수 있는 3D 아바타로 바꾸는 작업은 지금까지 결코 쉬운 일이 아니었습니다. 전문 스튜디오에서 수십 대의 카메라로 전신을 스캔하거나, 긴 동영상을 입력한 뒤 컴퓨터가 몇 시간 동안 최적화 연산을 마치길 기다려야 했습니다.

알리바바 연구진은 단 한 장의 사진만으로 수초 만에 움직일 수 있는 고품질 3D 디지털 휴먼을 생성하는 모델인 LHM(Large Animatable Human Reconstruction Model)을 공개했습니다.

최적화 과정 없이 단번에 생성하는 피드포워드 방식

단일 이미지 기반의 3D 인체 복원에서 가장 큰 난관은 인체의 기하학적 형태, 질감 표현, 그리고 관절 움직임에 따른 변형을 명확하게 분리해 내는 일입니다.

기존의 정적 3D 복원 모델은 합성 스캔 데이터에 의존해 범용성이 떨어졌고, 비디오 기반 최적화 방식은 화질이 우수하지만 연산량이 지나치게 많았습니다. LHM은 반복 최적화 대신 단 한 번의 피드포워드 추론으로 3D 가우시안 스플래팅(3D Gaussian Splatting) 형태의 아바타를 생성하는 방식을 택했습니다.

핵심 아키텍처는 다중 모달 신체-머리 트랜스포머(MBHT)입니다. 입력 이미지에서 신체와 머리의 토큰을 각각 추출한 뒤, 어텐션 메커니즘을 통해 3D 기하학 토큰과 결합하고 이를 최종 가우시안 파라미터로 디코딩합니다.

얼굴과 손에 별도 후처리가 필요 없는 정밀도

기존 3D 생성 기술에서는 얼굴이 일그러지거나 손가락이 뭉개지는 현상이 잦아 전용 모델을 붙여 추가 후처리를 거치는 경우가 많았습니다.

LHM은 얼굴 영역의 다중 스케일 특징을 모으는 헤드 피처 피라미드 인코딩 기법을 도입해 인물의 고유한 외모 특징을 보존하도록 설계되었습니다. 연구진은 얼굴과 손에 대한 추가 후처리 작업 없이도 수초 안에 자연스러운 3D 인체를 만들어낸다고 설명합니다.

다만 완전무결한 수준은 아닙니다. 공개된 시연 영상에 따르면 원본 마스크 크롭 과정에서 발생하는 흰색 차폐 아티팩트가 일부 나타나며, 동작 추정 과정에서 약간의 떨림 현상이 관찰되기도 합니다.

왜 중요한가

우리는 LHM이 움직일 수 있는 3D 인체 생성의 소요 시간을 기존의 시간 단위에서 순식간인 '초 단위'로 단축했다는 점에 주목해야 한다고 봅니다.

게임 개발사나 메타버스, 온라인 쇼핑몰 입장에서는 일반 사용자가 올린 셀카 한 장으로 즉시 조작 가능한 아바타를 만들어낼 수 있는 길이 열린 셈입니다. 복잡한 3D 리깅 파이프라인에 들어가던 시간과 비용 장벽이 단번에 낮아질 수 있습니다.

업계 전반으로 보면 정적인 3D 객체 생성 경쟁이 이제는 온전히 움직이는 인체 모델링으로 옮겨가고 있음을 보여줍니다. 트랜스포머 구조와 3D 가우시안 스플래팅을 결합해 무거운 후처리 없이도 충분한 품질을 낼 수 있다는 점을 입증했기 때문입니다.

알리바바의 접근 방식은 영리하지만, 윤곽선 아티팩트와 움직임 떨림 현상은 이 기술이 정밀한 상업용 영상 파이프라인에 바로 안착하기에는 아직 해결해야 할 숙제가 남아있음을 보여줍니다.