일레븐랩스, 본인 목소리 그대로 20개 언어 번역하는 ‘AI 더빙’ 출시

해외 유튜버의 영상을 볼 때 자막에만 의존해야 하거나, 더빙판 성우의 낯선 목소리 때문에 몰입이 깨졌던 경험은 흔합니다.

음성 AI 전문 기업 일레븐랩스가 10월 10일, 이러한 언어 장벽을 겨냥한 신기능 AI 더빙(AI Dubbing)을 공개했습니다. 오디오나 비디오 콘텐츠를 단 몇 분 만에 다른 언어로 번역하면서도, 원래 말한 사람의 고유한 목소리를 그대로 유지해 주는 도구입니다.

20개 이상 언어 지원과 원작자의 감정선 재현

이번 기능은 일레븐랩스의 다국어 모델인 Eleven Multilingual v2를 기반으로 개발되었습니다. 지원 언어는 힌디어, 포르투갈어, 스페인어, 일본어, 우크라이나어, 폴란드어, 아랍어 등 20개 이상에 달합니다.

단순히 단어를 번역해 읽어주는 기존 TTS와 달리, 원본 음성에 담긴 억양과 감정선까지 번역본에 반영한다는 점이 핵심입니다. 원작자가 말할 때의 뉘앙스와 특유의 분위기를 살려 자연스러운 더빙을 구현합니다.

또한 다수의 화자가 등장하거나 배경음이 섞인 복잡한 영상도 처리할 수 있습니다. 일레븐랩스는 음성에서 음악과 잡음을 분리하는 기술과 함께 여러 화자를 자동으로 감지하는 알고리즘을 적용했습니다. 팟캐스트나 인터뷰 영상처럼 여러 사람이 대화하는 콘텐츠에서도 각 인물의 목소리를 구분해 개별적으로 복제 더빙합니다.

일레븐랩스는 최근 장문 오디오 제작과 편집을 지원하는 스튜디오(Studio) 기능을 선보인 데 이어, 이번 AI 더빙까지 추가하며 오디오 콘텐츠 제작 전반의 생태계를 빠르게 확장하고 있습니다.

왜 중요한가

개인 크리에이터와 교육 콘텐츠 제작자들에게 글로벌 진출의 문턱을 획기적으로 낮춰주는 기능이라고 봅니다. 일레븐랩스에 따르면 전 세계 인구 중 영어를 모국어로 사용하는 비율은 6%에 불과하며, 75%는 영어를 전혀 구사하지 못합니다. 그동안 비용 문제로 자막에만 머물렀던 창작자들이 이제는 클릭 몇 번으로 다국어 오디오를 직접 배포할 수 있게 되었습니다.

전통적인 로컬라이징 및 상업 더빙 업계에는 상당한 압박이 될 것으로 보입니다. 시간당 높은 비용이 들고 수주가 걸리던 번역·더빙 외주 프로세스가 몇 분 단위의 저비용 자동화 서비스로 대체될 수 있기 때문입니다.

배경음 분리와 화자 인식, 감정 보존까지 하나의 워크플로로 묶어낸 점은 매우 영리한 접근입니다. 다만 화면 속 입모양을 번역된 음성에 맞추는 립싱크(Lip-sync) 기능이 빠져 있다는 점은 아쉬운 대목입니다. 목소리는 똑같은데 입모양이 맞지 않으면 여전히 어색함이 남을 수밖에 없으므로, 향후 영상 합성 기술과의 결합 여부가 진정한 글로벌 로컬라이징의 성패를 가를 것으로 보입니다.