메타, 릴스 AI 번역 확대: 본인 목소리로 자동 더빙하고 입모양까지 맞춘다

인스타그램에서 해외 크리에이터가 유창한 스페인어로 말하면서 입모양까지 딱 들어맞는 영상을 보더라도 외국어를 배웠다고 감탄할 필요는 없습니다. 메타의 AI가 입모양까지 바꿔놓은 결과일 가능성이 높습니다.

메타는 페이스북과 인스타그램 릴스를 위한 AI 번역 도구의 지원 대상을 확대했습니다. 크리에이터 본인의 목소리 톤과 억양을 그대로 유지하며 자동으로 다른 언어로 더빙해 주고, 번역된 음성에 맞춰 입술 움직임까지 자연스럽게 동기화해 주는 기능입니다.

이 기능은 팔로워 1,000명 이상의 페이스북 크리에이터와 인스타그램의 모든 공개 계정을 대상으로 제공되며, 영어와 스페인어 간의 양방향 번역부터 지원을 시작합니다.

내 목소리로 말하고 입모양까지 맞춘다

그동안 숏폼 영상을 해외 시청자에게 전달하려면 자막을 넣거나 어색한 기계음을 입혀야 했습니다. 어색한 더빙은 시청자의 몰입을 깨뜨리기 일쑤였습니다.

메타는 음성 복제와 립싱크 기술을 결합해 이 문제를 풀었습니다. 크리에이터의 음색과 말하는 습관을 학습해 스페인어나 영어로 변환된 음성에서도 본인의 실제 목소리처럼 느껴지게 만듭니다. 여기에 립싱크 옵션을 켜면 실제로 해당 언어로 말하는 것처럼 입술 모양이 다시 그려집니다.

작업 방식도 간단합니다. 릴스를 게시하기 전 메뉴에서 'Meta AI로 음성 번역'을 켜고 립싱크 적용 여부를 선택하면 끝납니다. AI의 오역을 방지하기 위해 게시 전 전문가 대시보드에서 번역본을 미리 검토하고 승인할 수 있는 절차도 마련되어 있습니다. 번역본을 거절하더라도 원본 영상에는 아무런 영향이 없습니다.

시청자에게는 각자의 언어 설정에 맞춰 번역된 영상이 자동으로 노출되며, 화면에는 Meta AI로 번역되었다는 표시가 붙습니다. 시청자가 원하지 않으면 번역을 끌 수도 있습니다. 아울러 전문 제작팀을 위해 페이스북 릴스 한 편에 최대 20개의 자체 더빙 오디오 트랙을 직접 업로드하는 기능도 함께 지원됩니다.

왜 중요한가

1인 크리에이터에게는 글로벌 진출의 비용 장벽이 사실상 사라진 셈입니다. 기존에는 번역가를 고용하거나 별도 스튜디오에서 다국어 음성을 녹음해야 했지만, 이제는 원래 하던 대로 모국어로 찍고 버튼 하나만 누르면 거대한 영어권과 스페인어권 시청자에게 곧바로 도달할 수 있습니다.

숏폼 플랫폼 경쟁 측면에서도 메타의 영리한 선택으로 보입니다. 틱톡과 유튜브 쇼츠와의 체류 시간 경쟁이 치열한 상황에서, 페이스북과 인스타그램의 최대 강점인 글로벌 유저풀을 활용해 기존 콘텐츠의 소비 수명을 국경 너머로 강제로 연장하는 전략입니다.

하지만 기술적 리스크도 분명합니다. AI 라벨을 붙인다고는 하나, 본인 목소리를 복제하고 입모양을 합성하는 것은 본질적으로 딥페이크 기술과 같습니다. AI 번역이 미묘한 뉘앙스를 왜곡하거나 부적절한 표현을 내뱉을 경우 그 책임은 고스란히 크리에이터에게 돌아갑니다. 영어와 스페인어를 넘어 향후 지원 언어가 늘어날 때 현지 문화와 맥락을 얼마나 정교하게 담아낼 수 있을지가 성패를 가를 것입니다.