유튜브, AI 다국어 더빙 도입…영상 번역부터 음성 합성까지

동영상을 다른 언어로 번역하고 더빙하는 작업은 창작자에게 늘 큰 비용 부담이었습니다. 유튜브는 목요일 비드콘(VidCon) 행사에서 구글의 사내 인큐베이터인 에어리어 120(Area 120)의 AI 더빙 서비스 얼라우드(Aloud) 팀을 영입했다고 발표했습니다.

자막 추출부터 번역, 2024년 립싱크 계획까지

작동 과정은 단순합니다. 얼라우드가 영상 음성을 자동으로 텍스트로 추출하면 크리에이터가 내용을 검토 및 수정한 뒤, AI가 이를 번역해 더빙 음성 트랙을 만들어 냅니다.

유튜브의 암자드 하니프는 더버지(The Verge)를 통해 현재 수백 명의 크리에이터와 테스트를 진행 중이라고 밝혔습니다. 대변인 제시카 기비에 따르면 현재 지원 언어는 영어, 스페인어, 포르투갈어 세 가지이며, 향후 지원 언어를 늘려갈 계획입니다.

실제 결과물은 아메바 시스터즈(Amoeba Sisters) 채널 영상의 스페인어 오디오 트랙에서 확인할 수 있습니다. 유튜브는 더 나아가 2024년 도입을 목표로 더빙 음성이 창작자 본인의 목소리처럼 들리게 하고, 감정 표현과 립싱크까지 맞추는 기능을 개발 중입니다.

왜 중요한가

크리에이터 입장에서 번역가와 성우를 쓰지 않고 플랫폼 안에서 다국어 음성을 만들 수 있다는 점은 해외 진출의 문턱을 크게 낮춰 줍니다. 아직 지원 언어가 적더라도 글로벌 시청자를 시험해 보기에는 충분합니다.

인큐베이터에서 검증된 기술을 유튜브 핵심 기능으로 끌어안은 선택은 플랫폼 경쟁력 측면에서 매우 영리해 보입니다.

다만 초기 기계 합성음의 어색함을 시청자들이 어디까지 자연스럽게 받아들일지는 지켜봐야 합니다. 결국 2024년에 약속한 목소리 복제와 립싱크가 얼마나 완성도 있게 구현되느냐가 이 기능의 성패를 가를 것으로 보입니다.