텐센트, 영상에 맞춤형 효과음 입히는 HunyuanVideo-Foley 오픈소스 공개

HunyuanVideo-Foley는 텐센트 훈위안(Tencent Hunyuan)이 오픈소스로 공개한 엔드투엔드 텍스트-비디오 기반 오디오 생성(TV2A) 프레임워크입니다. 소리가 없는 영상과 간단한 텍스트 프롬프트를 넣으면, 화면 속 움직임과 정밀하게 맞아떨어지는 효과음과 환경음을 자동으로 만들어 냅니다.

영상 제작이나 게임 개발에서 발소리, 문 닫는 소리, 바람 소리 등을 영상 타이밍에 맞게 입히는 폴리(Foley) 작업은 많은 시간과 노력이 드는 과정입니다. HunyuanVideo-Foley는 이 워크플로를 자동화하기 위해 설계되었습니다.

어떤 기능을 제공하나

공개된 벤치마크 결과에 따르면, HunyuanVideo-Foley는 음질, 시각-의미적 일치도, 시간 축 정렬 등 여러 평가 항목에서 기존 오픈소스 모델들을 뛰어넘는 성능을 기록했습니다.

가장 큰 장점은 입체적이고 층위가 나뉜 사운드 생성입니다. 영상의 메인 피사체가 움직일 때 발생하는 소리뿐만 아니라, 배경에서 들려오는 미세한 바람 소리나 도시 소음까지 놓치지 않고 반영합니다. 자연 풍경 실사 영상부터 애니메이션 클립까지 폭넓은 장르를 처리할 수 있습니다.

핵심 기술과 접근성

이러한 싱크 구현의 기반에는 10만 시간 규모의 멀티모달 데이터셋 학습이 있습니다.

모델은 멀티모달 디퓨전 트랜스포머(MMDiT) 구조를 채택해 영상의 동적 신호와 텍스트 의미를 균형 있게 해석합니다. 여기에 표현 정렬(REPA) 손실 함수와 오디오 VAE를 결합해 합성 과정에서 흔히 발생하는 노이즈와 어색한 끊김 현상을 최소화했습니다.

프로젝트는 완전한 오픈소스로 제공됩니다. GitHub 저장소에서 코드를 확인할 수 있고, 사전 학습 가중치는 Hugging Face에 업로드되어 있습니다. 프로젝트 웹페이지에서 데모 영상을 확인할 수 있으며, 기술 세부 사항은 arXiv 논문에 실려 있습니다.

왜 중요한가

1인 영상 제작자, 인디 게임 개발자, 영상 편집자라면 작업 파이프라인에 도입해 볼 만한 가치가 충분합니다. 일일이 효과음 라이브러리를 뒤져 타임라인에 맞추던 반복 작업을 크게 줄여줄 수 있습니다.

최근 AI 비디오 모델이 시각적으로는 뛰어난 결과물을 내놓았지만, 대부분 소리가 없는 '무성 영화'에 머물러 있었습니다. HunyuanVideo-Foley의 등장은 생성형 비디오 생태계의 빈틈이었던 음향 영역을 채우는 중요한 전환점이며, 향후 주요 영상 생성 툴들이 오디오 동시 생성을 기본 탑재하도록 압박할 것으로 보입니다.