Audio8TS: 1.7GB 초소형 음성 합성 모델, 몇 초 샘플로 로컬 음성 복제

Audio8TS는 전체 용량이 1.7GB에 불과한 초경량 텍스트 음성 합성 모델이다. 일반 PC에서 단 몇 초 분량의 목소리 샘플만으로 로컬 제로샷 음성 복제를 구현할 수 있도록 설계됐다.

기존 음성 복제 모델들은 수십억 개에 달하는 파라미터 탓에 대용량 저장 공간과 고성능 GPU를 요구하는 경우가 많았다. 반면 Audio8TS의 핵심 생성 모델은 약 1억 7천만 개 파라미터 수준이며, 코덱 디코더를 포함해도 약 0.1B 규모다. 전체 다운로드 파일 용량도 1.7GB에 그친다.

무엇을 할 수 있나

핵심 기능은 몇 초 길이의 오디오 샘플을 이용한 제로샷 음성 복제다. 짧은 참조 음성과 해당 텍스트를 입력하면 화자의 음색을 학습해 어떤 새로운 문장이든 해당 음성으로 자연스럽게 읽어낸다.

주요 지원 언어는 중국어와 영어이며, 발음과 음색 유사도 모두 안정적인 결과물을 보여준다. 여기에 독일어, 스페인어, 프랑스어, 이탈리아어, 일본어, 한국어에 대한 다국어 실험 평가 기능도 포함되어 있다.

초소형 크기임에도 불구하고 공식 벤치마크에서 준수한 단어 오류율과 높은 음색 유사도를 기록했다. 초대형 TTS 모델과 견주어도 가벼운 작업 환경에서는 충분히 설득력 있는 성능을 발휘한다.

어떻게 구동되나

Audio8TS는 느린 경로와 빠른 경로로 나뉜 듀얼 자기회귀 구조를 채택했다. 느린 경로가 시맨틱 토큰을 먼저 예측하면, 빠른 경로가 이를 바탕으로 코덱 코드북을 예측하고 신경망 오디오 코덱이 파형으로 복원하는 방식이다.

구동 환경의 진입 장벽도 낮다. 일반적인 CUDA GPU 기반 PyTorch 추론 코드 외에도, 저사양 CPU 환경을 위한 ONNX INT8 모델이 함께 제공된다.

ONNX 환경에서는 자기회귀 부분이 INT8로 양자화되고 코덱은 FP16으로 동작한다. 음성 등록 과정에서 사용한 세션 메모리를 합성 전에 해제하도록 구성해 일반 노트북에서도 메모리 폭증 없이 매끄럽게 돌아간다.

현재 전체 가중치와 코덱, 토크나이저, 추론 코드가 허깅페이스 Audio8/Audio8-TTS-Preview-0.1b 저장소에 모두 공개되어 있다. 실행에는 Python 3.11 이상과 PyTorch, Transformers 최신 라이브러리가 필요하다.

왜 중요한가

외장 GPU가 없는 가벼운 노트북에서 로컬 음성 복제를 구현하고 싶거나, 클라우드 API 비용 없이 오프라인 데스크톱 앱에 TTS를 넣고 싶은 개발자라면 당장 써볼 만한 도구다.

우리는 Audio8TS가 무작정 모델 크기를 키우는 대신 1억 파라미터 선에서 실용적인 타협점을 영리하게 찾아냈다고 본다. 온디바이스 AI 어시스턴트나 가벼운 엣지 기기용 음성 인터페이스를 구축하려는 프로젝트에 현실적인 출발점을 제시해 준다.