프라임 비디오, AI 립싱크 더빙 도입…배우 입모양 맞춘다

해외 드라마를 더빙판으로 볼 때 화면 속 배우의 입은 계속 움직이는데 대사는 이미 끝나 있어 몰입이 깨진 경험이 누구나 있을 것이다.

아마존이 이 같은 시각적 이질감을 없애기 위해 기술 카드를 꺼내들었다. 프라임 비디오(Prime Video)는 생성형 AI와 시각특수효과(VFX)를 결합한 새로운 립싱크 더빙 기술을 정식 도입했다.

이 기술은 프라임 비디오 역사상 가장 많은 시청 수를 기록한 글로벌 오리지널 시리즈 '맥스턴 홀(Maxton Hall)' 시즌 1과 시즌 2에 우선 적용됐다.

목소리는 전문 성우가, 입모양은 AI가 맞춘다

이번 기능의 핵심은 AI로 가짜 목소리를 만들어내는 것이 아니라, 실제 인간 성우가 녹음한 영어 오디오에 맞춰 원작 배우의 입모양을 사후 수정한다는 점이다.

시각특수효과와 머신러닝 모델이 화면 속 배우의 입술 움직임을 발음에 완벽하게 일치시켜, 처음부터 영어로 연기한 것과 같은 자연스러운 화면을 만들어낸다.

현재 전 세계 사용자들을 대상으로 영어 더빙에 적용되었으며, 2018년 모나 카스텐의 소설 'Save Me'를 원작으로 한 세 번째이자 마지막 시즌이 12월 9일 공개될 때도 기본 탑재될 예정이다.

프라임 비디오 및 아마존 MGM 스튜디오의 기술 부사장 라프 솔타노비치(Raf Soltanovich)는 창작자의 예술적 의도를 훼손하지 않도록 검수를 거쳤으며, 향후 다른 오리지널 타이틀로도 적용 대상을 넓힐 계획이라고 밝혔다.

왜 중요한가

아마존의 이번 행보는 콘텐츠 현장에서 AI를 영리하게 타협시킨 사례라고 볼 수 있다.

할리우드를 비롯한 글로벌 엔터테인먼트 업계에서는 AI 음성 합성이 성우와 배우의 일자리를 위협한다는 반발이 거세다. 아마존은 성우의 역할을 건드리지 않고, 기존 더빙의 가장 큰 약점이었던 시각적 불일치만 AI로 보정하는 방식을 택했다.

이용자 입장에서는 비영어권 웰메이드 콘텐츠를 소비하는 진입장벽이 크게 낮아진다. 입모양이 어색해 더빙을 꺼리거나 자막 읽기에 피로감을 느끼던 시청자들도 훨씬 편안하게 몰입할 수 있기 때문이다.

다만 화면 속 배우의 실제 얼굴 표정과 근육 움직임을 사후에 알고리즘으로 변형한다는 점에서 연기의 오리지널리티를 둘러싼 논쟁 가능성은 여전히 남아 있다.

그럼에도 불구하고 글로벌 스트리밍 플랫폼 간의 현지 오리지널 수출 경쟁이 치열해지는 상황에서, 언어 장벽을 완전히 지우는 비주얼 로컬라이제이션 기술은 강력한 무기가 될 것으로 보인다.