BreezeBlue, 초저지연 음성 모델 'Breeze-TTS-2' 오픈소스 공개

Breeze-TTS-2는 실시간 대화형 환경을 겨냥해 설계된 오픈 가중치 텍스트 음성 변환 모델이다.

Artificial Analysis의 TTS 리더보드에서 오픈 가중치 모델 부문 1위를 차지했으며, 일부 상용 독점 시스템을 능가하는 성능을 보인다. 단일 모델로 중국어와 영어를 지원하며 초저지연과 정교한 목소리 제어에 집중했다.

무엇을 할 수 있나

가장 눈에 띄는 기능은 참조 오디오가 전혀 필요 없는 프롬프트 기반 음성 생성이다. 오디오 샘플 대신 '차분하고 또렷한 목소리의 따뜻한 여성'처럼 자연어 설명을 입력하면 모델이 그에 맞는 목소리를 새로 만들어 낸다.

참조 오디오가 있을 때는 목소리를 복제하면서 전달 방식을 조율할 수 있다. 음색은 유지한 채 텍스트 프롬프트로 '속도를 늦추고 차분하게 말하라'고 지시해 분위기나 감정을 실시간으로 바꿀 수 있다.

텍스트 내에 감정이나 신체 반응을 기호로 삽입하는 기능도 갖췄다. 영어 텍스트에는 (laugh), (sigh), (clears throat) 같은 소괄호 표현을 넣고, 중국어에는 [笑], [叹气] 같은 대괄호 태그를 넣으면 웃음이나 한숨을 대사 흐름에 맞춰 자연스럽게 발음한다.

지연 시간 성능 역시 뛰어나다. 예열을 거친 NVIDIA H100 환경에서 가속 모드를 켜면 첫 오디오 조각이 생성되기까지 걸리는 시간이 40ms 미만으로 떨어진다. 실시간 계수는 0.32로, 실제 발화 속도보다 약 3.1배 빠른 속도로 음성 스트리밍이 가능하다.

사양 및 실행 방법

하드웨어 요구 사양은 비교적 현실적이다. 기본 Eager 추론 모드에서는 약 7.7 GiB의 VRAM을 사용하므로 12 GB GPU만 있어도 구동할 수 있다.

정적 CUDA Graph 등을 활성화하는 전체 가속 모드를 쓸 때는 약 14.4 GiB의 VRAM이 필요해 24 GB GPU를 사용하는 것이 좋다.

추론 코드는 GitHub에, 모델 가중치는 Hugging Face에 공개되어 있으며 Google Colab과 Kaggle 노트북도 제공된다. 공식 Docker 이미지는 H100 아키텍처에 맞춰져 있으나 A100용 빌드 옵션도 지원한다.

기본 포함된 단일 스트리밍 API를 실행하면 로컬 7860 포트에서 24 kHz 모노 PCM 스트림을 바로 출력할 수 있다.

라이선스는 명확히 구분해야 한다. 추론 코드와 알리바바 Qwen3-TTS 기반 오디오 토크나이저는 Apache 2.0이지만, Breeze-TTS-2 모델 가중치와 자체 호스팅 생성물은 연구 및 비상업용 라이선스의 적용을 받는다. 상업적 서비스에 쓰려면 공식 플랫폼의 유료 API를 이용해야 한다.

왜 중요한가

실시간 대화 에이전트나 가상 캐릭터를 제작하는 개발자에게는 값비싼 클라우드 API 없이도 12 GB 그래픽카드 한 장으로 사람 같은 반응성을 시험해 볼 수 있는 훌륭한 도구다.

프롬프트 기반 음성 제어와 비언어적 감정 표현을 40ms 미만의 초저지연 파이프라인에 매끄럽게 녹여냈다는 점이 영리하다. 다만 자체 구축 모델의 상업적 이용이 제한되어 있어, 실제 제품화 단계에서는 호스팅 서비스 구독 비용을 고려해야 한다는 점이 유일한 걸림돌이다.