메타, 음성 생성 AI '보이스박스' 공개…2초 샘플로 목소리 복제

팟캐스트나 영상을 녹음할 때 한 번쯤 겪는 악몽이 있습니다. 완벽하게 말을 마쳤는데 중간에 자동차 경적 소리가 섞이거나 단어 하나를 헛나오는 순간입니다.

보통은 처음부터 다시 녹음하거나 편집 프로그램에서 골치를 앓아야 하지만, Meta가 공개한 음성 생성 AI 모델 Voicebox는 이 문제를 아주 간단하게 해결하려 합니다.

Voicebox는 대형 언어 모델처럼 문맥 내 학습을 활용하는 다목적 음성 생성 모델입니다. 특정 작업에 맞춰 개별 훈련을 거치지 않고도 음성 편집, 샘플링, 스타일 변환을 곧바로 수행합니다.

음성을 지우개처럼 지우고 채운다

가장 눈에 띄는 기능은 음성 편집과 잡음 제거입니다. Meta는 이를 오디오 편집의 ‘지우개’에 비유했습니다.

녹음 도중 개 짖는 소리가 끼어들었거나 발음을 잘못했을 때, 전체 대화를 다시 녹음할 필요가 없습니다. 해당 구간만 잘라내면 Voicebox가 앞뒤 흐름과 음색을 파악해 그 문장만 자연스럽게 다시 생성해 채워 넣습니다.

음성 복제에 필요한 샘플 길이도 극단적으로 짧습니다. 단 2초 분량의 오디오만 있으면 대상의 목소리 톤과 발화 스타일을 파악해 새로운 문장을 읽어낼 수 있습니다.

내 목소리로 구사하는 6개 언어

언어 장벽을 넘는 스타일 전이 기능도 갖췄습니다. 현재 지원하는 언어는 영어, 프랑스어, 독일어, 스페인어, 폴란드어, 포르투갈어 등 총 6개입니다.

예를 들어 사용자가 프랑스어를 전혀 할 줄 몰라도, 2초짜리 영어 음성 샘플과 프랑스어 텍스트를 입력하면 Voicebox가 사용자의 음색을 유지한 채 프랑스어로 텍스트를 읽어줍니다.

또한 일상적인 대화 데이터를 폭넓게 학습해, 기존 음성 합성 기술 특유의 딱딱한 기계음 대신 실제 사람이 말할 때 나타나는 자연스러운 억양과 호흡을 재현합니다.

Meta는 이 기술을 메타버스 NPC나 가상 비서의 음성으로 활용하거나, 시각장애인이 친구의 실제 음성으로 문자 메시지를 들을 수 있게 하는 등 다양한 분야에 적용할 계획입니다.

왜 중요한가

콘텐츠 제작자에게는 실질적인 작업 시간을 대폭 줄여줄 무기입니다. 대사 한 줄을 고치려고 녹음 부스를 다시 잡을 필요가 없고, 해외 진출을 위한 다국어 더빙 비용도 크게 절감할 수 있습니다.

산업 측면에서는 음성 합성 기술 역시 텍스트 LLM처럼 단일 목적 모델에서 벗어나 범용 기반 모델로 진화하고 있음을 명확히 보여줍니다. 기존 TTS 전문 기업들 역시 신속하게 아키텍처를 전환해야 하는 압박을 받게 될 것입니다.

Meta가 음성 생성을 단순 낭독 도구가 아니라 오디오를 직접 수정하고 편집하는 워크플로 도구로 정의한 점은 매우 현명한 접근입니다.

다만 단 2초의 음성만으로 타인의 목소리를 완벽하게 모방할 수 있다는 점은 명백한 위험 요소입니다. 음성 사기나 딥페이크 악용 가능성을 차단할 확실한 워터마크와 탐지 기술이 선행되지 않는다면 사회적 파장은 상당할 것으로 보입니다.