자이프라, 오픈소스 음성 합성 모델 'ZONOS2' 공개: 8B MoE 기반 고음질 보이스 클로닝

자이프라(Zyphra)가 오픈소스로 공개한 ZONOS2는 고음질 보이스 클로닝에 특화된 텍스트 음성 변환(TTS) 모델입니다. 총 파라미터 80억 개의 MoE 구조를 갖췄지만, 실제 추론 시에는 9억 개의 파라미터만 활성화됩니다.

600만 시간 이상의 방대한 다국어 음성 데이터를 기반으로 학습되었으며, 44.1 kHz의 고해상도 오디오를 생성합니다. 개발사 측은 표현력과 자연스러움 면에서 기존 상용 TTS 서비스를 능가하는 수준이라고 설명합니다.

어떤 기능이 있나

ZONOS2의 핵심 강점은 낮은 지연 시간과 뛰어난 음성 복제 성능입니다.

지원 언어는 세 단계로 나뉩니다. 티어 1에는 한국어를 포함하지 않고 영어, 중국어(보통화), 일본어가 먼저 포함되었으며, 한국어는 프랑스어, 독일어, 스페인어 등과 함께 티어 2로 지원됩니다. 티어 3에는 수십 개의 다양한 언어가 추가로 배치되어 있습니다.

기술적으로는 nemo TN을 통해 텍스트를 정규화하고 ECAPA-TDNN 임베딩으로 화자의 특징을 추출한 뒤, MoE 백본을 통해 DAC 토큰을 생성하는 파이프라인을 사용합니다.

로컬에서 실행하는 법

로컬 머신에서 직접 구동하려면 하드웨어 조건이 다소 까다롭습니다. x86_64 아키텍처의 리눅스 환경만 지원하며, 드라이버 버전이 일치하는 엔비디아 GPU가 필수입니다.

패키지 관리자 uv를 통해 설치할 수 있으며, Mini-SGLang 기반의 고성능 추론 서버가 함께 제공됩니다. 서버를 실행하면 로컬 1919 포트에 웹 UI가 열립니다.

참조 오디오가 담긴 폴더를 지정하기만 하면 WAV, MP3, FLAC 등의 파일을 자동으로 스캔해 즉시 음성을 복제할 수 있습니다. 파이썬 스크립트에서 직접 오프라인 배치 생성을 실행할 수도 있고, 로컬 환경이 없다면 자이프라 클라우드 웹 플레이그라운드에서 무료로 테스트해볼 수 있습니다.

라이선스는 상업적 활용에 제약이 적은 아파치 2.0을 따릅니다.

왜 중요한가

기존의 고품질 음성 복제 기술은 대부분 비공개 상용 API에 묶여 있었지만, ZONOS2는 이를 아파치 2.0 라이선스의 완전한 오픈소스로 풀어냈습니다. 80억 파라미터급의 음성 표현력을 유지하면서도 실제 계산량은 9억 개 수준으로 억제한 MoE 설계가 핵심입니다.

자체 서버에 음성 봇이나 실시간 대화형 인터페이스를 구축하려는 엔지니어에게 훌륭한 대안이 될 수 있습니다. 다만 리눅스와 엔비디아 GPU 환경에 종속되어 있어 일반 개인 사용자가 가볍게 돌려보기에는 진입 장벽이 존재합니다.