LivePortrait: 사진 한 장으로 12.8ms 만에 얼굴 애니메이션 생성

LivePortrait는 단 한 장의 인물 사진을 구동 영상에 맞춰 움직이게 만드는 오픈소스 애니메이션 프레임워크입니다. 인물이나 동물 사진 한 장과 얼굴 표정 및 머리 움직임이 담긴 비디오를 넣으면, 이를 정밀하게 반영한 동영상을 만들어냅니다.

실사 사진은 물론 유화, 조각상, 3D 렌더링 등 다양한 스타일에 두루 적용됩니다. 연구진이 동물 데이터셋으로 파인튜닝까지 거친 덕분에 고양이나 강아지, 판다 사진도 사람의 표정 영상으로 자연스럽게 제어할 수 있습니다.

디퓨전 대신 잠재 키포인트로 12.8ms 달성

최근 얼굴 애니메이션 분야는 디퓨전 모델이 대세지만, 연산량이 많고 생성 속도가 느리다는 단점이 뚜렷합니다. LivePortrait는 디퓨전을 따르는 대신 연산 효율과 제어성이 뛰어난 잠재 키포인트 기반 방식을 선택했습니다.

일반화 성능과 품질을 끌어올리기 위해 약 6,900만 개의 고화질 프레임으로 이미지·비디오 혼합 학습을 진행했습니다. 또한 조밀한 잠재 키포인트가 얼굴 표정 제어 단위인 블렌드셰이프를 효과적으로 표현한다는 점을 밝혀냈습니다.

이를 바탕으로 아주 작은 MLP 기반의 스티칭 모듈과 두 개의 리타게팅 모듈을 추가했습니다. 연산 오버헤드는 거의 늘리지 않으면서 눈과 입 등 세부 움직임 제어력을 크게 향상시켰습니다.

속도 역시 인상적입니다. PyTorch 환경과 RTX 4090 GPU 한 장 기준으로 프레임당 생성 시간이 12.8ms에 불과해, 디퓨전 계열 모델 대비 압도적인 처리 속도를 보여줍니다.

실행 방법

현재 추론 코드와 모델 가중치가 GitHub의 KwaiVGI 계정을 통해 모두 공개되어 있습니다. 별도 설치 없이 바로 기능을 확인해 볼 수 있는 데모 페이지도 Hugging Face에 마련되었습니다.

파이프라인은 2단계로 나뉘며 기본 모델 훈련 후 스티칭 모듈을 추가 최적화하는 구조입니다. 일반 개발자라면 공개된 사전 학습 가중치를 내려받아 곧바로 로컬 추론을 구동할 수 있습니다.

왜 중요한가

디지털 휴먼이나 버추얼 스트리밍, 실시간 인터랙션 서비스를 준비하는 개발자라면 반드시 확인해야 할 도구입니다. 기존 디퓨전 모델은 속도 한계 탓에 실시간 상호작용에 쓰기 어려웠지만, 프레임당 12.8ms 수준이면 반응성이 중요한 영역에 바로 적용할 수 있습니다.

모두가 디퓨전만 바라볼 때 잠재 키포인트와 초경량 MLP 조합을 파고들어 실용성을 극대화한 점이 돋보입니다. 제한된 하드웨어 자원으로 정밀한 표정 모사를 구현해야 하는 환경에서 매우 경쟁력 있는 대안이 될 것으로 보입니다.