미스트랄, 4B 음성 모델 'Voxtral TTS' 출시…지연시간 70ms

Voxtral TTS는 미스트랄 AI가 실시간 음성 에이전트를 위해 선보인 4B 파라미터 크기의 텍스트 음성 변환 모델입니다.

가장 큰 장점은 가벼운 크기와 빠른 반응 속도입니다. 일반적인 입력 조건에서 첫 오디오 생성 지연시간이 70ms에 불과하며, 단 3초 분량의 음성 샘플만 있어도 즉시 음색을 복제해 냅니다.

무엇을 할 수 있는가

Voxtral TTS는 영어, 프랑스어, 독일어, 스페인어, 네덜란드어, 포르투갈어, 이탈리아어, 힌디어, 아랍어 등 9개 언어와 다양한 억양을 기본 지원합니다.

단순히 텍스트를 기계적으로 읽는 수준을 넘어섭니다. 문맥에 담긴 기쁨이나 빈정거림 같은 감정 표현을 살리고, 호흡과 멈춤, 말의 리듬감까지 사람처럼 자연스럽게 구현합니다.

학습 데이터에 명시적으로 넣지 않은 제로샷 언어 간 음성 복제도 가능합니다. 프랑스어 음성을 샘플로 주고 영어 문장을 읽게 하면 자연스러운 프랑스식 억양의 영어 발화가 생성되어 통역 파이프라인에 유용합니다.

한 번에 최대 2분 길이의 음성을 생성할 수 있으며, API를 사용하면 긴 텍스트도 매끄럽게 이어붙여 합성합니다.

기술 구조와 성능 지표

Voxtral TTS는 Ministral 3B를 기반으로 구축된 자기회귀 플로우 매칭 복합 모델입니다.

구조는 3.4B 크기의 트랜스포머 디코더 백본, 390M 음향 플로우 매칭 트랜스포머, 12.5Hz 프레임 레이트로 동작하는 300M 신경망 오디오 코덱 등 세 부분으로 나뉩니다.

10초 길이 음성 프롬프트와 500자 텍스트 기준 지연시간은 70ms이며, 실시간 처리 배율은 약 9.7배에 달해 대화형 시스템에 즉각 투입할 수 있습니다.

원어민 대상 블라인드 평가에서는 제로샷 화자 복제 환경 기준으로 ElevenLabs Flash v2.5보다 뛰어난 자연스러움과 음색 유사도를 보였고, ElevenLabs v3와 동등한 음질 수준을 기록했습니다.

사용 방법과 오픈 현황

직접 모델을 다운로드해 구동하고 싶다면 Hugging Face에 공개된 가중치를 받으면 되며, 라이선스는 비상업적 용도인 CC BY-NC 4.0입니다.

설치 없이 체험해 보려면 Mistral Studio의 플레이그라운드나 Le Chat에서 직접 목소리를 녹음해 성능을 확인할 수 있습니다.

상용 에이전트에 연동할 수 있는 공식 API도 함께 열렸으며, 가격은 1,000자당 0.016달러로 책정되었습니다.

왜 중요한가

실시간 대화형 AI나 음성 고객센터 솔루션을 구축하는 개발자라면 주목할 만합니다. 지금까지는 고비용의 폐쇄형 API를 쓰거나, 품질이 떨어지는 오픈소스 모델을 타협해야 했습니다.

Voxtral TTS는 4B라는 작은 파라미터로 상용 전문 서비스 수준의 음질과 70ms 저지연을 달성해 온프레미스 파이프라인의 가성비를 크게 끌어올렸습니다.

다만 공개된 모델 가중치가 비상업용 라이선스이므로, 비즈니스 서비스에 직접 로컬 배포하려면 공식 API를 쓰거나 별도 라이선스 협의가 필요합니다.