MS, 사진과 대본으로 말하는 영상 만드는 AI 아바타 도구 공개

사진 한 장과 대본만 있으면 실제 인물이 말한 적도 없는 내용을 자연스럽게 말하는 영상이 만들어집니다. 그동안 악용 우려로 논란이 많았던 딥페이크 기술을 마이크로소프트가 기업용 클라우드 서비스로 전면에 내세웠습니다.

마이크로소프트는 연례 콘퍼런스 Ignite 2023에서 Azure AI Speech의 신기능인 텍스트 음성 변환 아바타(text-to-speech avatar)를 공개 프리뷰로 선보였습니다. 사내 교육 영상, 제품 소개, 고객 지원용 가상 비서 등을 텍스트 입력만으로 손쉽게 제작할 수 있게 돕는 도구입니다.

1분 음성만으로 목소리까지 복제

이 기능은 사진을 기반으로 입모양과 얼굴 표정을 움직이는 모델과, 대본을 소리 내어 읽는 음성 합성 모델이 결합해 작동합니다.

다양한 언어를 구사할 수 있을 뿐만 아니라 OpenAI의 GPT-3.5와 연동하는 것도 가능합니다. 정해진 대본을 읽는 수준을 넘어, 챗봇과 연결해 사용자의 돌발 질문에도 아바타가 자연스럽게 대답할 수 있습니다.

이와 함께 공개된 '개인 음성(personal voice)' 기능도 주목을 받았습니다. 단 1분의 음성 샘플만 제공하면 불과 몇 초 만에 사용자의 목소리를 그대로 복제해 오디오북 낭독이나 다국어 더빙에 쓸 수 있는 기술입니다.

까다로운 승인 절차와 워터마크 장치

정교한 가상 인간 기술은 가짜 뉴스나 정치 선전에 악용되기 쉽습니다. 최근 할리우드 배우 조합 파업에서도 AI를 통한 디지털 초상권 복제와 보상 문제가 핵심 쟁점이었습니다.

마이크로소프트도 이를 의식해 일반 구독자에게는 사전에 만들어진 기본 아바타만 제공합니다. 실제 인물을 기반으로 한 맞춤형 아바타를 제작하려면 별도의 신청 및 승인 절차를 거쳐야 합니다.

또한 모델이 되는 인물의 명시적인 서면 동의서를 받아야 하며, 결과물에 AI 생성물임을 명시하도록 의무화했습니다. 음성 복제 역시 도청된 파일 사용을 막기 위해 본인이 직접 동의 문구를 낭독해야만 승인됩니다. 합성된 음성에는 워터마크가 자동 삽입되지만, 이를 탐지하려면 마이크로소프트의 별도 승인을 받아야 한다는 한계가 있습니다.

왜 중요한가

우리는 마이크로소프트의 이번 행보가 기업 시장의 제작 패러다임을 바꿀 만한 파괴력을 지녔지만, 동시에 매우 위태로운 줄타기라고 평가합니다.

기업 입장에서의 효용은 확실합니다. 다국어 교육 영상이나 안내 콘텐츠를 만들 때마다 모델을 섭외하고 스튜디오를 빌리던 수천만 원 규모의 비용과 몇 주의 시간이 텍스트 몇 줄로 줄어듭니다. 고객 지원 채널을 24시간 가상 상담사로 채우려는 시도도 한층 가속화될 것입니다.

하지만 1분의 음성과 사진 한 장으로 타인을 완벽하게 흉내 낼 수 있는 시대에, 내부 서약서와 신청 양식만으로 오남용을 막겠다는 접근은 안일해 보입니다. 워터마크 검증마저 마이크로소프트의 폐쇄적인 생태계 승인을 요구한다는 점은 외부 검증을 어렵게 만듭니다. 빅테크가 상업용 딥페이크의 문을 활짝 연 만큼, 디지털 인격권과 신뢰성 검증에 대한 사회적 비용은 앞으로 더 커질 것으로 보입니다.