D-ID, 음성 복제와 립싱크 지원하는 AI 영상 번역 툴 출시

몇 년 전 오래된 가족사진을 움직이며 말하게 만들어 화제를 모았던 AI 영상 스타트업 D-ID가 글로벌 비디오 현지화 시장 공략에 나섰습니다.

D-ID는 영상 속 화자의 목소리를 그대로 복제하고, 번역된 외국어 발음에 맞춰 입모양까지 자연스럽게 바꿔주는 영상 번역 기능인 'AI Video Translate'를 선보였습니다.

이번 기능은 D-ID의 자체 전용 모델인 'Rosetta-1'을 기반으로 작동하며, D-ID 스튜디오 및 API를 통해 제공됩니다. 지원 언어는 한국어는 명시되지 않았으나 중국어(표준어), 일본어, 아랍어, 힌디어, 스페인어, 프랑스어 등 총 30개 언어에 달하며 현재 웹사이트에서 1개월 체험판을 이용해볼 수 있습니다.

5분 제한과 1인 정면 샷 조건

다만 실제 제작 환경에 적용하기 위해서는 몇 가지 까다로운 조건을 맞춰야 합니다.

영상 길이는 최소 10초에서 최대 5분 이내여야 하고, 파일 용량은 2GB를 넘을 수 없습니다. 또한 화면 안에는 오직 한 사람만 등장해야 하며, 입모양 동기화가 제대로 작동하려면 얼굴 전체가 가려지지 않은 채 항상 카메라 정면을 응시하고 있어야 합니다.

가격 면에서 해당 기능은 기존 유료 구독자에게 추가 비용 없이 제공됩니다. D-ID 구독 플랜은 가장 저렴한 연간 56달러부터 시작해 상위 플랜은 연간 1293달러까지 올라가며, 그 이상은 기업용 맞춤 요금제로 전환됩니다. 회사는 2022년에 2500만 달러 규모의 시리즈 B 투자를 유치한 바 있습니다.

치열해진 AI 더빙 및 립싱크 경쟁

다국어 더빙은 과거 MrBeast 같은 대형 유튜버들이 여러 언어 오디오 트랙을 지원받으며 주목받기 시작했으나, 이제는 생성형 AI의 발전으로 진입 장벽이 급격히 낮아졌습니다.

마이크로소프트는 시청 중인 영상을 실시간 번역·더빙하는 기술을 발표했고, 지난 7월 비메오(Vimeo) 역시 음성 복제 기반의 번역 툴을 공개했습니다. 이 외에도 일레븐랩스(ElevenLabs), 디스크립트(Descript), 캡션스(Captions.ai), 그리고 AI 아바타 기반의 헤이젠(HeyGen)에 이르기까지 수많은 서비스가 동일한 시장을 두고 각축전을 벌이고 있습니다.

왜 중요한가

해외 진출을 노리는 1인 크리에이터나 마케팅 담당자에게 원본 화자의 음색과 입모양을 유지한 채 30개 언어로 영상을 확장할 수 있다는 점은 현지화 비용을 획기적으로 줄여주는 실질적인 이점입니다. 진입 가격대도 연간 56달러 수준으로 부담이 적은 편입니다.

그러나 5분이라는 짧은 분량 제한과 '정면을 응시하는 단독 화자'라는 조건은 제품의 확장성을 크게 제한합니다. 인터뷰, 복수 진행자 프로그램, 시선 이동이 잦은 브이로그 등에는 도입하기 어렵고, 사실상 정면 강의나 짧은 홍보 영상에만 용도가 국한됩니다.

더불어 목소리 복제와 립싱크 결합은 이제 업계 표준 기능으로 자리 잡아가고 있습니다. 오픈소스 립싱크 기술이 흔해진 상황에서 D-ID의 자체 모델 Rosetta-1이 헤이젠이나 일레븐랩스 같은 강력한 전문 경쟁사들을 상대로 얼마나 이질감 없는 완성도를 보여주느냐가 유료 고객 유치의 핵심이 될 것으로 보입니다.