구글 'VLOGGER' 공개: 사진 한 장과 오디오로 손짓까지 하는 말하는 영상 생성

사진 속 인물이 말을 하게 만드는 기술은 이전에도 있었지만, 대부분 얼굴만 오려내 입 모양만 어색하게 뻐끔거리는 수준에 머물렀습니다.

구글 리서치 연구진은 사진 한 장과 음성 파일만으로 표정은 물론 머리의 움직임과 손짓, 상반신 제스처까지 자연스럽게 구현하는 인공지능 시스템 'VLOGGER'를 공개했습니다.

사진 한 장과 음성으로 손짓·몸짓까지 구현

구글 리서치의 엔릭 코로나(Enric Corona) 연구팀이 발표한 논문 'VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis'에 따르면, 이 시스템은 텍스트 기반 이미지 생성에서 널리 쓰이는 확산 모델을 비디오 영역으로 확장해 개발되었습니다.

핵심 경쟁력은 연구팀이 자체 구축한 대규모 데이터셋 'MENTOR'에 있습니다. 80만 명 이상의 다양한 인물과 2200시간 분량의 비디오로 구성되어 있어 기존 데이터셋보다 규모가 10배 이상 큽니다.

이 덕분에 모델은 특정 개인을 위한 별도의 미세조정(파인튜닝) 없이도 다양한 인종, 연령, 복장, 자세를 가진 사람의 발화 영상을 자연스럽게 생성할 수 있습니다.

얼굴 크롭 없이 상반신 전체를 생성하는 비결

기존 방식은 대개 얼굴을 인식해 잘라낸 뒤 입 모양만 합성해 덧붙이는 식이라 경계면이 어색해지기 쉬웠습니다.

반면 VLOGGER는 얼굴을 따로 잘라내지 않고 상반신 전체를 포함한 프레임 전체를 한 번에 생성합니다. 말할 때의 호흡이나 제스처, 눈빛 교환 같은 비언어적 커뮤니케이션 요소를 함께 담아내는 셈입니다.

사진 한 장으로 비디오를 만드는 것 외에도, 기존 영상의 음성만 바꿔 다국어 더빙 영상을 제작하거나 손상된 프레임을 메우는 작업도 가능합니다.

다만 한계도 분명합니다. 생성되는 영상의 길이가 비교적 짧고 배경이 정적인 데다, 인물이 3차원 공간을 자유롭게 이동하지는 못하며 미세한 시각적 아티팩트도 남아 있습니다.

왜 중요한가

디지털 아바타를 제작하는 장벽을 사진 한 장 수준으로 끌어내렸다는 점에서 시사하는 바가 큽니다. 고가의 모션 캡처 장비나 수백 장의 학습 데이터 없이도 생생한 아바타를 만들 수 있게 됩니다.

온라인 강의, 프레젠테이션 제작, 저대역폭 통신 환경에서의 비디오 통화는 물론, 게임 내 NPC나 가상 비서의 상호작용성을 획기적으로 높일 수 있을 것으로 보입니다.

하지만 뛰어난 완성도만큼 딥페이크 악용 위험도 한층 심각해졌습니다. 소셜 미디어 프로필 사진 한 장과 목소리 클론만 있으면 실제 사람이 몸짓을 섞어가며 말하는 듯한 가짜 영상을 손쉽게 찍어낼 수 있기 때문입니다.

기술의 효용성과 위험성이 동시에 극대화된 만큼, 우리는 이 기술이 상용화되기 전에 신원 인증과 합성 미디어 탐지 기술이 먼저 보폭을 맞춰야 한다고 봅니다.