dots.tts: 샤오홍슈, 2B 오픈소스 음성 합성 모델 공개

dots.tts는 샤오홍슈(Rednote)가 오픈소스로 공개한 20억 파라미터(2B) 기반의 종단간 음성 합성 시스템입니다. 고품질의 제로샷 음성 복제와 정밀한 음성 편집을 지원합니다.

짧은 참조 오디오 하나만 있으면 원본 화자의 음색을 뛰어난 유사도로 복제해 텍스트를 읽어 주며, 기존 오디오의 특정 단어나 감정, 운율을 지시어에 맞게 수정하는 것도 가능합니다.

이산 토큰을 배제한 완전 연속 아키텍처

최근 등장한 많은 음성 모델은 오디오를 이산 토큰으로 변환한 뒤 텍스트 모델처럼 다음 토큰을 예측하는 방식을 취합니다. 하지만 dots.tts는 전체 파이프라인에서 이산 토큰을 전혀 사용하지 않습니다.

의미 인코더, 대규모 언어 모델, 그리고 48kHz AudioVAE 위에서 작동하는 자기회귀 플로우 매칭 음향 헤드를 결합한 완전 연속 자기회귀 시스템 구조입니다.

양자화로 인한 음질 손실을 피할 수 있어 미세한 음색과 호흡, 음향적 연속성을 온전히 보존하며 기계음 느낌을 크게 줄였습니다.

벤치마크 결과와 추론 성능

Seed-TTS-Eval 벤치마크에서 dots.tts는 오픈소스 모델 가운데 최상위 수준의 성능을 보였습니다. 단어 오류율은 중국어 0.94%, 영어 1.30%, 고난도 중국어 세트 6.60%를 기록했고 화자 유사도 점수 역시 각각 81.0, 77.1, 79.5를 달성했습니다.

MiniMax의 24개 언어 벤치마크에서도 평균 화자 유사도 83.9를 기록했습니다. 음성 내 단어, 감정, 운율, 쉼표 구간을 정밀하게 수정할 수 있는 편집 전용 모델 dots.tts.edit도 함께 제공됩니다.

추론 속도 역시 실무에 적용 가능한 수준입니다. 최적화된 dots.tts-mf 기준 실시간 계수 중앙값은 0.13에서 0.15 수준이며, 텍스트 전용 첫 청크 지연 시간은 68밀리초, 음성 복제 시 204밀리초입니다. SGLang Omni를 활용하면 단일 H100 GPU에서 동시 요청 16개 기준 초당 19.86초 분량의 오디오를 처리할 수 있습니다.

사용 방법과 배포 환경

프로젝트는 Apache-2.0 라이선스로 배포되어 코드와 모델 가중치가 모두 공개되어 있습니다. 권장 환경은 Python 3.10에서 3.12입니다.

PyPI를 통해 pip install dots.tts 명령어로 간편하게 설치하거나 GitHub 리포지토리를 클론해 빌드할 수 있습니다. 기본 사전 학습 모델 외에도 SOAR 및 MeanFlow 증류 체크포인트가 제공됩니다.

명령줄 인터페이스를 통해 참조 오디오와 스크립트를 함께 넘겨 복제 정확도를 극대화하거나, 오디오만으로 임베딩을 추출해 복제할 수 있습니다. 대규모 동시 접속 환경이라면 SGLang Omni 기반 서빙을 권장합니다.

왜 중요한가

오디오북, 가상 인간 대화 서비스, 게임 보이스 등을 로컬이나 사내 인프라에 직접 구축하려는 개발자에게 dots.tts는 매우 매력적인 대안입니다. 2B 크기로 지나치게 무겁지 않으면서도 라이선스 제약 없는 Apache-2.0으로 공개되어 상용 파이프라인에 도입하기 유리합니다.

상용 API 못지않은 음성 복제 유사도와 서브초 단위 스트리밍 지연 시간을 오픈소스로 확보할 수 있다는 점에서, 자체 음성 파이프라인을 구축 중이라면 우선적으로 검토해 볼 가치가 있습니다.