알리바바, EMO 공개: 사진 한 장과 음성으로 자연스럽게 노래하는 영상 생성

사진 한 장으로 말하는 영상을 만드는 기존 기술은 대개 입만 뻐끔거리거나 표정이 굳어 있어 어색함을 지우기 힘들었습니다.

연구팀이 2월 28일 공개한 EMO(Emote Portrait Alive)는 음성을 기반으로 생생한 인물 영상을 만들어내는 새로운 생성 프레임워크입니다.

인물 사진 단 한 장과 음성 파일만 입력하면 풍부한 표정과 자연스러운 머리 움직임을 갖춘 동영상을 음성 길이에 맞춰 제한 없이 생성해 냅니다.

3D 뼈대 없이 확산 모델로 직접 구현한 표정 연기

기존 방식들은 주로 3D 얼굴 메시나 랜드마크를 중간 매개체로 사용했기 때문에 감정이 실린 세밀한 표정을 살리지 못했습니다.

EMO는 확산 모델을 기반으로 한 2단계 방식을 도입해 이 한계를 넘었습니다.

첫 단계에서는 ReferenceNet을 통해 참조 이미지에서 인물의 외형 특징을 추출합니다.

이어지는 확산 과정에서는 사전 학습된 오디오 인코더가 음성 데이터를 분석합니다. 백본 네트워크 내부에서는 인물의 정체성을 유지하는 Reference-Attention과 음성 신호에 맞춰 움직임을 제어하는 Audio-Attention이 함께 작동합니다. 여기에 시간 모듈이 더해져 움직임의 속도와 프레임 간 연결을 자연스럽게 맞춥니다.

공개된 시연을 보면 빠른 템포의 랩 가사에도 입 모양이 밀리지 않고 정확하게 맞물립니다. 고음이나 말의 높낮이에 따라 눈썹과 머리 각도가 유기적으로 반응합니다.

입력 데이터의 폭도 넓습니다. 현대 인물 사진뿐만 아니라 고전 명화, 3D 그래픽, Sora 같은 모델로 만든 생성 이미지까지 그대로 움직이게 만듭니다.

왜 중요한가

우리는 EMO가 디지털 휴먼과 가상 아바타 분야의 기술적 기준을 한 단계 끌어올렸다고 봅니다. 복잡한 얼굴 리깅이나 모션 캡처 장비 없이 단 한 장의 원화와 목소리만으로 감정 표현이 풍부한 영상을 뽑아낼 수 있기 때문입니다.

1인 창작자나 인디 게임 개발사, 다국어 로컬라이징을 진행하는 콘텐츠 제작진에게는 작업 비용과 시간을 획기적으로 줄여줄 강력한 도구가 될 수 있습니다.

다만 악용 위험은 상당히 큽니다. 사진 한 장과 목소리만 있으면 실제와 구분하기 어려운 수준의 발언 영상을 누구나 만들 수 있게 되면서, 딥페이크 사기와 신원 도용에 대한 사회적 방어선이 더욱 위태로워졌습니다.

결과적으로 EMO는 음성 자체가 고품질 비디오를 제어하는 핵심 신호가 될 수 있음을 입증했습니다. 기존의 부자연스러운 아바타 솔루션을 개발하던 기업들은 이 같은 엔드투엔드 확산 방식으로의 전환을 피하기 어려울 것으로 보입니다.