마이크로소프트 VALL-E 공개: 3초 음성으로 목소리 복제

누군가의 목소리를 복제하기 위해 스튜디오에서 몇 시간 동안 녹음하던 시대가 빠르게 저물고 있습니다.

마이크로소프트 연구진이 단 3초 분량의 음성 샘플만으로 목소리를 복제할 수 있는 새로운 텍스트 음성 변환 모델 'VALL-E'를 공개했습니다.

감정과 방의 울림까지 복제

기존 음성 복제 기술은 화자의 특징을 파악하기 위해 적지 않은 양의 학습 데이터를 요구했습니다.

반면 VALL-E는 제로샷(zero-shot) 방식을 사용해 아주 짧은 3초 샘플만으로 목표 화자의 목소리를 시뮬레이션합니다.

이 모델의 핵심은 단순한 음색 복제에 그치지 않는다는 점입니다. 말하는 사람의 감정 톤은 물론, 녹음된 방의 공간 음향 특성까지 그대로 반영해 음성을 합성해 냅니다.

연구진은 메타의 Libri-Light 오디오 라이브러리에서 추출한 7,000명 이상의 화자, 6만 시간 분량의 영어 음성 데이터를 모델 학습에 활용했습니다.

현재 결과물이 완벽한 것은 아닙니다. 일부 샘플은 기계음처럼 얇고 어색하게 들리지만, 일부는 실제 사람과 구분하기 힘들 만큼 사실적입니다.

마이크로소프트는 악용 위험을 이유로 코드를 오픈소스로 공개하지 않았습니다. 연구 논문에서는 모델이 화자의 신원을 유지한 음성을 생성할 수 있는 만큼, 음성 인증 시스템을 속이거나 타인을 사칭하는 데 악용될 위험이 있다고 밝혔습니다.

왜 중요한가

우리는 VALL-E가 음성 복제 기술의 진입 장벽을 완전히 무너뜨렸다고 봅니다. 복제에 필요한 시간이 3초로 줄어들었다는 것은, 통화 연결음이나 소셜 미디어에 올린 짧은 음성 클립만으로도 누군가의 목소리를 도용할 수 있음을 뜻합니다.

콘텐츠 제작자에게는 매우 유용한 도구가 될 수 있습니다. 팟캐스트나 영상 녹음 후 대사를 수정할 때 다시 마이크를 잡을 필요 없이 텍스트 입력만으로 자연스럽게 오디오를 수정할 수 있기 때문입니다.

하지만 보안 업계에는 즉각적인 경고등이 켜졌습니다. 목소리로 본인을 확인하는 금융권의 화자인식 시스템이 순식간에 무력화될 위험에 처했습니다. 마이크로소프트가 코드를 비공개로 유지한 것은 현명한 선택이지만, 연구 내용이 공개된 이상 유사한 모델의 출현은 시간문제입니다. 음성 워터마크와 딥페이크 탐지 기술의 도입이 시급해 보입니다.