텐센트, 사진으로 노래하는 영상 만드는 'HunyuanVideo-Avatar' 오픈소스 공개

HunyuanVideo-Avatar는 텐센트 훈위안과 텐센트 뮤직이 공동 개발해 오픈소스로 공개한 오디오 기반 디지털 휴먼 비디오 생성 모델입니다. 정적 사진 한 장과 오디오 파일만 넣으면 인물이 자연스럽게 말을 하거나 노래를 부르는 영상을 만들어 줍니다.

무엇을 할 수 있나

최대 14초 분량의 오디오 입력을 지원하며, 오디오의 분위기와 감정선을 자동으로 감지합니다. 단순한 립싱크를 넘어 억양과 감정에 따라 표정이 풍부하게 변하고 자연스러운 상체 및 전신 동작까지 구현합니다.

입력 이미지의 스타일 제약도 거의 없습니다. 실사 인물 사진은 물론 2D 애니메이션 캐릭터, 3D 렌더링 그래픽, 의인화된 동물 캐릭터까지 모두 처리할 수 있습니다. 얼굴 클로즈업부터 상반신, 전신 샷까지 다양한 구도를 지원하며 인물 움직임에 맞춰 배경도 자연스럽게 연동됩니다.

단일 인물뿐 아니라 여러 인물이 대화를 주고받는 다인 인터랙션 기능도 설계되어 있습니다. 현재는 단일 캐릭터 모드가 먼저 공개되었으며, 다인 인터랙션 모드는 조만간 오픈소스로 추가 공개될 예정입니다.

핵심 기술과 구동 사양

모델은 멀티모달 디퓨전 트랜스포머(MM-DiT) 구조를 기반으로 설계되었습니다. 큰 동작 속에서도 인물의 일관성을 유지하기 위해 기존의 덧셈 방식 조건 주입 대신 전용 캐릭터 이미지 주입 모듈을 적용해 학습과 추론 간의 불일치를 줄였습니다.

감정 제어를 위해 오디오 감정 모듈(AEM)을 도입해 레퍼런스 이미지에서 감정 특징을 추출하고, 다인 대화 환경에서는 얼굴 인식 오디오 어댑터(FAA)를 통해 잠재 공간에서 각 인물의 얼굴 마스크를 분리해 서로 다른 음성이 독립적으로 주입되도록 만들었습니다.

기본 배치 생성 환경은 8개 GPU 병렬 처리를 지원하며, 704 해상도 기준 129 프레임 영상을 뽑아냅니다.

개인 개발자를 위한 단일 GPU 스크립트도 함께 제공됩니다. FP8 양자화와 DeepCache 가속을 기본 지원하며, VRAM이 부족한 환경에서는 CPU 오프로드 옵션을 켜 시스템 메모리를 활용해 단일 그래픽카드에서도 추론을 돌릴 수 있습니다.

사용 방법과 오픈 현황

단일 캐릭터 모드의 코드와 가중치는 GitHub 및 Hugging Face에 공개되어 있으며, 기술 논문도 arXiv에서 확인할 수 있습니다.

로컬 설치 없이 결과물을 확인하고 싶다면 텐센트 훈위안 공식 웹사이트의 플레이그라운드에서 직접 이미지를 올려 테스트해 볼 수 있습니다. 이 기술은 단순 연구에 그치지 않고 텐센트 뮤직 엔터테인먼트 그룹 산하 여러 앱에 이미 적용되어 숏폼 영상 제작과 마케팅 콘텐츠 제작에 활용되고 있습니다.

왜 중요한가

숏폼 크리에이터, 커머스 마케터, 인디 게임 개발자라면 당장 써볼 만한 도구입니다. 감정이 실린 노래나 자연스러운 움직임을 구현하려면 복잡한 모션 캡처나 리깅 작업이 필요했지만, 이제는 정지 이미지와 음원 하나로 진입 장벽이 낮아졌습니다.

기존 오픈소스 아바타 모델들과 비교하면 입만 벙긋거리는 수준을 벗어나 전신 역동성과 세밀한 감정 표현을 동시에 잡았다는 점이 돋보입니다. 로컬 환경에서 긴 영상을 뽑으려면 여전히 상당한 연산 시간이 걸리지만, 단일 GPU를 위한 FP8 경량화 경로까지 첫날부터 열어준 점은 실용성 측면에서 긍정적입니다.