2B 규모 오픈소스 TTS 모델 공개, 몇 초 음성으로 속삭임까지 제로샷 복제

오픈소스 커뮤니티에 경량화된 새로운 텍스트 음성 변환(TTS) 모델이 등장했다. 매개변수가 20억 개(2B)에 불과하지만, 단 몇 초 분량의 참조 음성만 주어지면 해당 목소리로 어떤 텍스트든 읽어내는 제로샷 음성 복제 성능을 보여준다.

속삭임과 말더듬까지 잡아내는 섬세함

특히 돋보이는 부분은 자연스러운 음성 뉘앙스의 표현력이다. 기존 음성 복제 모델들이 딱딱하고 정형화된 소리를 내기 쉬운 반면, 이 모델은 속삭이듯 말하는 숨소리나 긴장했을 때의 미세한 말더듬까지 그대로 살려낸다.

다국어 합성도 지원해 원본 음성이 구사하지 못하는 외국어라도 동일한 음색으로 자연스럽게 발화할 수 있다. 오류율과 참조 음성 유사도를 비교한 벤치마크에서도 가장 이상적인 좌상단에 위치하며 CTDTS, Vox CPM, Qwen 3 TTS, Index TTS 2 등 최근 모델들을 앞질렀다.

전체 소스 코드와 가중치는 깃허브에 아파치 2.0 라이선스로 공개되어 상업적 이용까지 전면 허용된다. 기본 모델 크기는 약 5GB로, 일반 소비자용 GPU에서도 무리 없이 로컬 구동이 가능하다.

왜 중요한가

고품질 음성 복제의 문턱이 개인 하드웨어 수준으로 단숨에 낮아졌다. 과거 이 정도의 뉘앙스를 재현하려면 비싼 종량제 클라우드 API를 쓰거나 데이터 유출을 감수해야 했지만, 이제 5GB 남짓한 모델로 누구나 로컬에서 다국어 더빙이나 오디오 콘텐츠를 만들 수 있게 됐다.

우리는 아파치 2.0 기반의 완전한 상용화 허용이 유료 음성 복제 서비스 시장에 강력한 가격 인하 압박을 줄 것으로 본다. 다만 단 몇 초의 샘플만으로 정교한 목소리 복제가 가능해진 만큼, 로컬 딥페이크 음성을 방어하고 검증해야 하는 과제 역시 한층 무거워졌다.