일레븐랩스, 감정 살리는 AI 더빙 모델 '더빙 v2' 공개

지금까지의 AI 더빙이 가장 어색했던 이유는 발음보다 감정이었습니다. 화면 속 인물이 울부짖고 있어도 번역된 목소리는 안내 방송처럼 평온하기 일쑤였습니다.

ElevenLabs가 이러한 한계를 보완한 차세대 더빙 모델 Dubbing v2를 출시했습니다.

연기 톤까지 통째로 번역하는 기술

ElevenLabs에 따르면 Dubbing v2는 원본 콘텐츠에 담긴 감정과 연기 디테일을 모든 대상 언어로 그대로 전달하도록 설계되었습니다. 회사 측은 원작자의 감정적 뉘앙스를 타 언어로 온전히 보존해 내는 더빙 모델은 이번이 처음이라고 설명했습니다.

단순히 목소리 톤을 복제하고 입모양을 맞추는 데 그치지 않고, 원본 음성에 담긴 격앙된 톤이나 호흡, 미세한 감정선까지 번역 음성에 반영하는 방식입니다.

왜 중요한가

영상 제작사나 게임 개발사, 글로벌 진출을 노리는 콘텐츠 창작자에게 감정 연기는 로컬라이징의 핵심입니다. 지금까지는 현지 성우를 섭외해 감정선을 다시 연출해야 했기 때문에 막대한 비용과 시간이 들었습니다. 이 과정을 AI로 단축할 수 있다면 다국어 콘텐츠 유통 문턱이 크게 낮아집니다.

우리는 AI 음성 기술의 경쟁 축이 자연스럽게 말하는 수준을 넘어 연기력을 재현하는 영역으로 넘어갔다고 봅니다. ElevenLabs의 이번 행보는 미디어 시장을 정조준한 영리한 전략입니다. 다만 문화권마다 자연스럽게 받아들여지는 감정 표현의 수위가 다른 만큼, 원본의 감정이 다른 언어 환경에서도 어색하지 않게 전달될지는 실제 창작자들의 검증을 지켜볼 필요가 있습니다.