일레븐랩스, 감정 살리는 '더빙 v2' API 출시…90개 이상 언어 지원

기존 AI 더빙 영상을 보면 번역된 음성이 원작자의 감정을 전혀 살리지 못하고 국어책을 읽듯 밋밋해지는 경우가 많았습니다.

일레븐랩스(ElevenLabs)가 8월 6일 자사 개발자 API를 통해 Dubbing v2를 정식 공개했습니다. 이제 개발자들은 자체 서비스와 워크플로에 고품질 다국어 더빙 기능을 직접 연동할 수 있습니다.

원작의 감정 보존과 섬세해진 억양 구분

Dubbing v2의 핵심은 원본 음성의 실제 연기를 조건으로 삼아 더빙을 생성한다는 점입니다. 덕분에 말하는 이의 어조와 감정선, 호흡을 그대로 유지하면서 90개 이상의 언어로 변환해 줍니다.

싱크 인식 번역 기술이 적용되어 별도의 수작업 없이도 말의 시작과 끝이 화면에 자동으로 맞춰집니다.

지역별 악센트 감지 능력도 날카로워져 카스티야 스페인어와 라틴아메리카 스페인어 같은 방언 차이를 명확히 구분합니다. 배경 음악이나 효과음이 깔린 장면, 여러 명이 동시에 말하는 복잡한 오디오도 깔끔하게 분리해 처리합니다.

번역과 음성 복제, 더빙, 싱크 조절이 API 하나로 자동 실행됩니다. 기업 고객은 자체 번역 스크립트를 직접 입력하거나 모델이 만든 결과물 중 틀린 구간만 수정해 해당 부분만 다시 생성할 수도 있습니다.

왜 중요한가

글로벌 진출을 노리는 콘텐츠 제작사나 교육 플랫폼 입장에서는 현지화 비용을 획기적으로 낮출 수 있는 전환점이라고 봅니다. 복잡한 툴을 여러 개 이어 붙이지 않고도 API 호출 몇 번으로 자연스러운 다국어 비디오를 대량 생산할 수 있습니다.

특히 특정 구간만 골라 다시 생성할 수 있게 만든 점이 영리합니다. 단어 하나를 고치려고 영상 전체를 다시 결제하고 렌더링해야 했던 비효율을 덜어내면서 실제 상용 워크플로에 쓸 만한 도구가 되었습니다.

다만 언어별 음절 길이 차이 때문에 일부 문장에서 발음이 지나치게 빨라지는 물리적 한계는 완전히 피하기 어려워 보입니다. 유튜브 콘텐츠나 안내 영상에는 지금 당장 도입해도 손색없지만, 섬세한 감정 묘사가 필요한 영화나 드라마 분야에서는 여전히 사람의 감수가 필수적일 것으로 판단됩니다.