AI로 메시가 유창한 영어를 구사하다: Synthesia, 5분 영상으로 10개 국어 합성

세계적인 축구 스타 리오넬 메시는 그라운드 밖에서 언제나 스페인어로만 인터뷰하는 것으로 유명합니다. Goal에 따르면 메시는 카탈루냐어도 구사하지만, 대중 사이에서는 영어를 전혀 하지 못하는 것으로 여겨져 왔습니다.

메시 본인도 2021년 바르셀로나를 떠나기 전 기옘 발라그와의 인터뷰에서 영어 공부를 1년 반 동안 해와서 알아들을 수는 있지만 직접 말하지는 못한다고 밝힌 바 있습니다.

그런데 메시가 유창한 영어로 문장을 막힘없이 구사하는 영상이 공개되며 축구 팬들 사이에서 큰 화제를 모았습니다.

5분 분량 영상으로 구현한 합성 메시

이 영상을 제작한 곳은 AI 비디오 소프트웨어 기업 신세시아(Synthesia)입니다.

신세시아는 아르헨티나 대표팀 주장의 기존 영상 약 5분 분량을 딥러닝 알고리즘에 학습시켜 메시의 합성 표현물을 만들어냈습니다.

이를 통해 메시가 영어는 물론 최대 10개 국어를 자유자재로 구사하도록 변환했습니다.

팬들의 반응은 극명하게 엇갈렸습니다. 영어를 쓰는 메시의 목소리가 멋지다거나 입 모양이 실제 대화와 똑같아서 놀랍다는 반응이 나온 반면, 외계인처럼 축구하더니 이제는 로봇 소리까지 낸다며 오싹하다는 반응도 이어졌습니다. 이제 곧 진짜와 가짜를 구분하지 못하게 될 것이라는 우려 섞인 목소리도 적지 않았습니다.

왜 중요한가

우리는 이번 사례가 다국어 비디오 복제 기술의 진입 장벽이 얼마나 낮아졌는지를 명확히 보여준다고 생각합니다.

과거에는 특정 인물의 발언을 다른 언어로 현지화하려면 전문 성우의 더빙에 의존해야 했고, 입 모양이 맞지 않아 어색함을 피하기 어려웠습니다. 하지만 이제는 단 5분짜리 방송 영상만 있으면 특정 인물의 음색과 입술 움직임을 10개 언어로 자연스럽게 동기화할 수 있게 되었습니다.

글로벌 스포츠 마케팅이나 다국적 기업의 콘텐츠 제작 측면에서는 혁신적인 효율성을 제공합니다. 스타 선수가 직접 외국어 대본을 외우지 않아도 전 세계 각국 팬들에게 맞춤형 모국어로 메시지를 전달할 수 있기 때문입니다.

하지만 그에 따른 잠재적 위험 역시 뚜렷합니다. 전 세계에서 가장 인지도가 높은 인물조차 본인이 할 줄 모르는 언어로 말하는 영상을 손쉽게 합성해낼 수 있는 만큼, 딥페이크 악용과 디지털 초상권 침해 문제는 이제 더 이상 먼 미래의 이야기가 아닌 즉각적인 규제 과제로 다가왔습니다.