알리바바, 오픈소스 음성 모델 Qwen3-TTS 공개: 97ms 지연율로 실시간 음성 복제

Qwen3-TTS는 알리바바가 공개한 최신 오픈소스 텍스트 음성 변환(TTS) 모델로, 초저지연 음성 합성과 정교한 보이스 제어가 강점입니다. 단 몇 초 분량의 오디오만 있으면 해당 목소리를 복제할 수 있으며, 실제 음성이 없더라도 '쉰 목소리의 노인'이나 '만화에 나오는 다람쥐' 같은 프롬프트 입력만으로 새로운 음성을 만들어낼 수 있습니다.

주요 기능

모델은 1.7B와 0.6B 두 가지 크기로 제공됩니다. 1.7B는 최고의 성능과 세밀한 제어력을 보여주며, 0.6B는 가벼운 용량으로 효율성과 처리 속도를 균형 있게 맞췄습니다.

듀얼 트랙 구조를 채택해 단 한 글자만 입력되어도 첫 번째 오디오 패킷을 바로 생성하며, 엔드투엔드 지연 시간을 97ms까지 줄였습니다. 덕분에 오디오북 제작뿐만 아니라 라이브 방송, 실시간 통역, AI 고객 상담 등 대화형 서비스에 바로 활용할 수 있습니다.

다국어 확장성도 뛰어납니다. 중국어 음성을 복제한 뒤에도 고유의 음색을 유지한 채 영어, 일본어, 한국어, 독일어, 프랑스어, 러시아어, 스페인어, 포르투갈어, 이탈리아어는 물론 쓰촨 및 베이징 방언까지 구사합니다. 슬픔, 기쁨, 분노 같은 감정 표현 역시 자유롭게 조절할 수 있습니다.

왜 중요한가

오디오 콘텐츠를 제작하거나 실시간 음성 에이전트를 개발하는 이들에게 100ms 미만의 지연율을 갖춘 오픈소스 모델은 유료 API 의존도를 크게 낮춰줄 수 있는 실질적인 대안입니다.

프롬프트 기반 음성 생성과 다국어 복제 기능을 2B 미만의 가벼운 크기에 담아낸 점은 매우 실용적입니다. 실시간 음성 상호작용 서비스 구축을 고민하고 있다면 직접 구동해볼 가치가 충분합니다.