메타, 릴스 AI 번역 확장: 음성 복제 및 립싱크 지원

해외 숏폼 영상은 아무리 영상미가 좋아도 언어가 통하지 않으면 몇 초 만에 넘겨버리기 일쑤였습니다.

Meta가 인스타그램과 페이스북의 Reels에 Meta AI 기반 번역과 더빙 기능을 본격 도입했습니다. 단순히 외국어 자막을 띄우는 수준을 넘어, 크리에이터 본인의 목소리 톤을 그대로 복제해 다른 언어로 재더빙하고 화면 속 입모양까지 맞춰주는 립싱크 기능까지 탑재했습니다.

해당 기능은 무료로 제공됩니다. Meta AI가 지원되는 국가의 인스타그램 공개 계정이라면 누구나 바로 사용할 수 있으며, 페이스북의 경우 팔로워 1,000명 이상의 크리에이터를 대상으로 지원됩니다.

내 목소리로 외국어를 하고, 입모양까지 바꾼다

기존의 기계식 더빙은 로봇 같은 음성 때문에 몰입감을 해치는 경우가 많았습니다. Meta AI는 원작자의 음색과 억양을 모방해 번역 음성을 생성하므로, 마치 크리에이터가 직접 해당 언어로 말하는 듯한 자연스러움을 줍니다.

여기에 크리에이터가 선택할 수 있는 립싱크 옵션도 더해졌습니다. 이 옵션을 켜면 번역된 언어의 발음과 타이밍에 맞춰 영상 속 입술 움직임을 자연스럽게 수정해 목소리와 화면이 어긋나는 이질감을 줄여줍니다.

지원 언어도 빠르게 늘어났습니다. 초기 영어와 스페인어 양방향 번역으로 시작해 거대 숏폼 시장인 힌디어와 포르투갈어를 추가했고, 이후 벵골어, 타밀어, 텔루구어 등 인도 지역 언어를 비롯해 한국어, 일본어, 프랑스어, 독일어, 이탈리아어, 아랍어, 베트남어 등으로 지원 범위를 넓혔습니다.

시청자가 인공지능 생성물임을 인지할 수 있도록 처리된 영상에는 'Translated with Meta AI'라는 라벨이 의무적으로 붙습니다. 번역 음성 대신 원본 그대로를 듣고 싶은 시청자는 메뉴에서 언제든지 번역을 끄고 원어 음성으로 시청할 수 있습니다.

왜 중요한가

개인 창작자 입장에서 언어 장벽은 글로벌 진출을 가로막는 가장 큰 비용이자 벽이었습니다. 전문 더빙 업체를 쓰거나 일일이 다국어 자막을 달 여력이 없던 1인 크리에이터도, 이제 플랫폼 내 무료 도구만으로 자국에서 검증된 콘텐츠를 전 세계 시청자에게 직수출할 수 있게 되었습니다.

숏폼 플랫폼 경쟁 차원에서도 매우 계산된 행보입니다. 신규 콘텐츠를 무한정 수급하는 것 못지않게, 이미 한 지역에서 흥행한 고품질 Reels를 타 언어권으로 재순환시켜 체류 시간을 늘릴 수 있기 때문입니다. 이는 YouTube Shorts나 TikTok 역시 인앱 원터치 더빙 및 립싱크 툴 도입을 서두르게 만드는 압박으로 작용할 것으로 보입니다.

다만 정교한 음성 복제와 입모양 수정이 대중화되는 만큼 리스크도 따릅니다. Meta가 AI 표기를 의무화하고 원본 청취 옵션을 열어두긴 했지만, 문화적 맥락이나 미묘한 뉘앙스를 AI가 잘못 번역해 전달할 경우 크리에이터의 의도와 전혀 다른 메시지가 확산될 위험이 있습니다. 자연스러운 현지화와 왜곡 없는 전달 사이의 균형을 잡는 것이 앞으로의 과제입니다.