음성 복제 모델 Audio8-TTS-Realistic 오픈소스 공개: 6억 파라미터로 23개 언어 지원

Audio8-TTS-Realistic은 단 몇 초의 샘플 음성과 텍스트만 제공하면 해당 음색을 그대로 복제해 23개 언어로 발화할 수 있는 오픈소스 텍스트 음성 변환 모델입니다.

Edge0가 공개한 이 모델은 메인 파라미터가 6억 개(601M), 파일 용량이 2.6GB에 불과합니다. 아파치 2.0 라이선스로 배포되어 상업적 이용이 자유롭습니다.

가볍고 자연스러운 소리를 내는 비결

이 모델은 듀얼 자기회귀(DualAR) 구조를 채택했습니다. Qwen2.5 0.5B를 기반으로 한 저속 브랜치가 텍스트 토큰과 첫 번째 오디오 코드북을 순차적으로 생성하고, 4계층으로 구성된 얕은 고속 브랜치가 나머지 9개 코드북을 병렬로 빠르게 처리합니다.

순차 연산을 프레임 단위로 압축해 생성 속도를 높였으며, 44.1kHz 신경망 오디오 코덱을 포함하고 있어 참조 음성 없는 단독 텍스트 발화도 지원합니다.

기계음 느낌을 줄이기 위해 실제 사람의 녹음 데이터를 기준으로 채점하는 리얼리즘 판별기를 도입해 GRPO 강화학습을 진행했습니다. 단순 단어 오류율뿐 아니라 숨소리, 쉼표의 호흡, 억양의 타이밍까지 사람처럼 맞추도록 학습했습니다.

성능과 실행 환경

9개 언어 대상 CV3 벤치마크에서 4.86%의 평균 오류율을 기록해 파라미터가 더 큰 Qwen3-TTS-1.7B(7.73%)나 VoxCPM2(5.35%)를 앞섰습니다.

다만 4B급 모델인 Higgs TTS 3에 비해서는 전반적인 수치가 낮으며, 태국어 단어 오류율 48.57%, 광둥어 글자 오류율 31.35%처럼 저자원 언어에서는 아직 취약한 모습을 보입니다.

실행 환경 요구치는 매우 낮습니다. 보급형 소비자용 GPU에서도 BF16 환경으로 여유롭게 돌아갑니다. 기술 보고서에 따르면 애플 M2 칩에서 INT4 ONNX 테스트 시 피크 메모리가 1.1~1.2 GiB 수준에 그쳤습니다.

Hugging Face ZeroGPU 기반 무료 플레이그라운드에서 바로 사용해 볼 수 있으며, 로컬 구축 시 PyTorch 2.5+ 및 Transformers 4.57+ 환경이 필요합니다. OpenAI 호환 API 서빙을 위한 SGLang Omni 어댑터도 함께 제공됩니다.

왜 중요한가

인디 개발자나 스타트업 입장에서 Audio8-TTS-Realistic은 매우 실용적인 음성 인공지능 도구입니다. 기존에 자연스러운 음성 복제를 구현하려면 2B~4B급 대형 모델과 비싼 GPU 서버가 필수적이었지만, 이 모델은 6억 파라미터로 그 문턱을 대폭 낮췄습니다.

단순히 모델 크기를 키우지 않고 실제 인간의 발화 리듬을 학습시킨 설계가 돋보입니다. 비주류 언어의 발음 정확도에는 한계가 있지만, 저비용·저지연 음성 에이전트를 상용 서비스로 구축하려는 팀에게는 지금 당장 테스트해 볼 가치가 충분합니다.