스포티파이, 오픈AI 손잡고 팟캐스터 본인 목소리로 다국어 번역 지원

평소 즐겨 듣던 영어 팟캐스트 진행자가 갑자기 유창한 스페인어로 말을 건네는데, 목소리 톤과 말투는 원래 진행자 그대로라면 어떨까요.

Spotify가 9월 25일 OpenAI와의 협업을 통해 팟캐스트 진행자의 음성을 복제해 다국어로 번역해 주는 'Voice Translation' 기능을 발표했습니다. AI를 활용해 크리에이터 본인의 목소리로 외국어 에피소드를 자동 생성하는 기술입니다.

진행자의 진짜 목소리로 번역한다

기존 콘텐츠 현지화 방식인 자막이나 전문 성우 더빙은 팟캐스트 특유의 몰입감을 해치기 쉬웠습니다. 자막을 보려면 화면에 시선을 뺏기고, 다른 성우의 목소리를 쓰면 진행자 고유의 매력이 사라지기 때문입니다.

Spotify의 이번 시도는 텍스트 번역을 넘어섭니다. 기반 기술로는 OpenAI의 음성 전사 도구인 Whisper가 쓰였지만, 단순히 음성을 글로 바꾸는 데 그치지 않고 번역된 스크립트를 진행자의 합성된 음성으로 다시 구현해 냅니다.

첫 단계는 영어 에피소드를 스페인어로 번역하는 작업이며, 몇 주 안에 프랑스어와 독일어 번역도 차례로 제공될 예정입니다.

초기 테스트에는 Dax Shepard, Monica Padman, Lex Fridman, Bill Simmons, Steven Bartlett 등 유명 팟캐스터들이 참여했습니다. 이후 The Ringer의 'The Rewatchables'와 Trevor Noah의 신규 프로그램으로도 적용 범위를 넓힐 계획입니다.

신중한 테스트와 안전 우려

목소리 복제 기술 역시 OpenAI의 최신 기술에 기반한 것으로 보입니다. OpenAI는 텍스트와 몇 초 분량의 음성 샘플만으로 사람과 유사한 오디오를 만들어내는 도구를 공개하면서도, 보안과 프라이버시 문제를 이유로 이용 권한을 의도적으로 제한하고 있다고 밝혔습니다.

Spotify가 이번 번역 기능을 엄선된 소수 팟캐스터에게만 제한적으로 테스트하는 이유도 여기에 있습니다. 일반 크리에이터에게 언제쯤 이 도구가 개방될지에 대해서는 구체적인 일정을 밝히지 않았습니다.

출시 일정에도 약간의 조정이 있었습니다. Spotify는 당초 프랑스어 에피소드도 첫날 함께 제공될 것이라고 밝혔으나, 이후 몇 주 뒤로 일정을 연기했습니다.

왜 중요한가

팟캐스트는 청취자와 진행자 사이의 친밀감이 핵심인 매체입니다. Spotify 측 설명처럼 진행자의 고유한 목소리를 그대로 유지한 번역은 전 세계 청취자들에게 이질감 없는 몰입감을 줍니다. 영어를 모르는 청취자도 본래 진행자의 뉘앙스 그대로 콘텐츠를 즐길 수 있게 되는 셈입니다.

탑티어 크리에이터 입장에서는 추가 녹음 시간이나 막대한 현지화 비용을 들이지 않고도 남미나 유럽 등 거대한 비영어권 시장으로 직행할 수 있는 길이 열립니다.

업계 관점에서 볼 때 Spotify의 이번 선택은 매우 영리해 보입니다. 오리지널 콘텐츠 독점 확보 경쟁이 한계에 다다른 상황에서, 이미 확보한 대형 영어 팟캐스트 IP를 다국어 버전으로 손쉽게 재가공해 콘텐츠의 수명을 비약적으로 늘릴 수 있기 때문입니다.

다만 기술의 이면에는 리스크도 분명합니다. 음성 딥페이크 악용 가능성뿐만 아니라, AI 번역 과정에서 발생할 수 있는 오역이나 왜곡된 발언에 대해 크리에이터가 어디까지 책임을 져야 하는가에 대한 기준이 아직 모호합니다. OpenAI와 Spotify가 극소수 파트너에게만 문을 열어둔 이유이기도 하며, 이 기술이 대중화되기까지는 법적·윤리적 안전장치가 더 탄탄해져야 할 것으로 보입니다.