바이트댄스, 원시 파형 직접 모델링하는 음성 복제 모델 'WavTTS' 발표

목소리 복제 기술은 이미 널리 쓰이고 있지만, 이어폰을 꽂고 자세히 들어보면 숨소리나 미세한 음향 디테일에서 어딘가 어색한 인공미가 묻어나는 경우가 많습니다.

이유는 기존 방식의 구조적 한계에 있습니다. 연산량을 줄이기 위해 대부분의 제로샷 음성 합성 모델은 오디오를 멜 스펙트로그램이나 VAE 잠재 공간으로 압축한 뒤 디퓨전 과정을 거치고, 이를 다시 보코더로 복원합니다. 이 압축과 복원 과정에서 원본 음성의 섬세한 정보가 필연적으로 손실됩니다.

바이트댄스 연구팀은 압축 잠재 공간을 완전히 건너뛰고 원시 음성 파형을 처음부터 끝까지 직접 모델링하는 WavTTS를 공개했습니다.

원시 파형의 연산 병목을 뚫어낸 방식

원시 파형을 직접 다루는 것은 이론적으로 음질 손실이 전혀 없는 가장 이상적인 방식이지만, 그동안은 거의 시도되지 않았습니다. 1초 분량의 오디오만 해도 수만 개의 샘플 포인트로 구성되어 시퀀스 길이가 천문학적으로 늘어나기 때문입니다.

WavTTS는 DiT(Diffusion Transformer)와 Flow Matching 구조 위에 파형을 작은 단위로 쪼개어 처리하는 패치화 전략을 도입해 이 연산 문제를 해결했습니다.

여기에 더해 파형 모델이 미시적인 신호에만 매몰되지 않도록, 학습 단계에서 다중 스케일 멜 스펙트로그램을 통한 지각 가이던스를 보강했습니다. 또한 파형 디퓨전에 최적화된 노이즈 스케줄링 설계를 적용해 청각적 완성도를 극대화했습니다.

오픈소스 벤치마크 평가 결과, WavTTS는 기존 엔드투엔드 모델들을 압도적인 격차로 제쳤을 뿐 아니라 현재 가장 뛰어난 잠재 공간 제로샷 모델들의 성능에 근접했습니다. 단 몇 초 분량의 참조 음성만 주어지면 지극히 자연스러운 파형을 바로 뿜어냅니다.

왜 중요한가

기술적 관점에서 WavTTS는 음성 합성 연구의 패러다임을 바꿀 만한 이정표입니다. 파형 공간에서 디퓨전 모델을 직접 확장하는 것이 실제로 작동함을 입증함으로써, 그동안 불가피하다고 여겨졌던 잠재 공간 압축 접근법을 다시 생각하게 만들었습니다.

창작자와 개발자들에게는 고품질 음성 복제의 문턱이 한 번 더 낮아졌음을 의미합니다. 영상 내레이션, 팟캐스트 편집, 게임 캐릭터 보이스, 개인 비서 음성을 몇 초의 녹음만으로 자연스러운 원음 질감 그대로 구현할 수 있게 됩니다.

하지만 보안과 인증 측면의 우려는 더욱 짙어졌습니다. 단 몇 초의 목소리만으로 고품질 음성을 만들어낼 수 있다면 보이스피싱이나 신원 사칭, 무단 음성 도용의 위험도 함께 급증합니다. 원시 파형 생성 기술이 상용화 단계로 나아갈수록 오디오 워터마킹과 위변조 감지 장치가 반드시 뒤따라야 할 것입니다.