알리바바, 입술 모양 맞추는 영상 더빙 AI 'Fun-CineForge' 공개

Fun-CineForge는 알리바바 퉁이 연구소가 오픈소스로 공개한 영상 특화 멀티모달 더빙 모델입니다. 영상과 대사 텍스트를 입력하면 화면 속 인물의 입술 움직임과 감정에 맞춘 고품질 더빙 음성을 곧바로 만들어냅니다.

텍스트를 기계적으로 읽어주는 일반적인 음성 합성과는 다릅니다. 기존 AI 모델은 영상 속에서 누가 말하고 있는지 구분하지 못해 타이밍이 어긋나기 일쑤였습니다. Fun-CineForge는 장면 속 서로 다른 캐릭터를 인식하고 여러 인물의 목소리를 자연스럽게 오가며 마치 성우가 다인 다역을 능숙하게 소화하는 듯한 결과물을 냅니다.

입술 모양과 타이밍을 맞추는 방식

이 모델은 알리바바의 CosyVoice3를 기반으로 구축되었으며, 시각, 텍스트, 오디오, 그리고 '시간'이라는 네 가지 요소를 함께 융합해 처리합니다.

가장 영리한 지점은 시간 정보를 독립적인 모달리티로 끌어들였다는 점입니다. 단순히 입술 모양과 표정만 보는 데 그치지 않고, 밀리초 단위의 타임스탬프와 발화 길이, 화자 정보를 명확한 지도 신호로 활용합니다.

이러한 시간 감각 덕분에 AI는 누가 언제 말을 시작하고 끝내야 하는지 정확히 압니다. 화면이 빠르게 전환되거나 캐릭터가 고개를 돌려 얼굴이 가려지는 복잡한 장면에서도 타이밍을 놓치지 않고 지정된 구간에 정확히 대사를 얹어줍니다.

참조 오디오를 활용한 음색 복제는 물론, 얼굴 표정과 텍스트 지시어에 맞춘 감정 조절도 지원합니다. 350편 이상의 영화와 드라마 데이터를 바탕으로 한 CineDub 데이터셋 파이프라인으로 학습되었으며, 중국어 문자 오류율은 1.49% 수준에 불과합니다.

지원 범위와 테스트 방법

독백, 내레이션, 2인 대화는 물론 여러 명이 겹쳐 말하는 복잡한 장면까지 두루 대응합니다. 영상 번역 로컬라이징, 게임 및 애니메이션 제작, 숏폼 콘텐츠 편집 시 후반 작업 시간을 크게 줄일 수 있습니다.

공개 범위도 투명합니다. 전체 코드는 GitHub의 FunAudioLLM/FunCineForge 저장소에 올라와 있고, 모델 가중치는 Hugging Face에 등록되었습니다. CineDub 데이터셋 자동화 파이프라인도 함께 공개되었으며 공식 GitHub Pages 사이트에서 실제 데모 영상을 바로 확인할 수 있습니다.

왜 중요한가

영상 자동 더빙에서 가장 골치 아픈 문제는 목소리의 사실감보다 '싱크 조율'이었습니다. 편집자가 타임라인 위에서 오디오 파형을 프레임 단위로 자르고 늘려가며 입술 모양을 억지로 맞춰야 했기 때문입니다. Fun-CineForge는 시간 모달리티를 모델 구조에 직접 녹여내며 이 번거로운 싱크 작업을 생성 단계에서 단번에 풀어냈습니다.

로컬라이징 팀이나 인디 게임 개발자, 숏폼 창작자라면 지금 바로 내려받아 테스트해 볼 가치가 충분합니다. 장편 프로젝트에서는 사전 대본 정리가 여전히 필요하겠지만, 프레임 단위의 수작업 싱크 맞추기에서 벗어날 수 있다는 점만으로도 제작 효율은 완전히 달라집니다.