Hume AI, 음성 모델 'TADA' 오픈소스 공개: 기존 대비 5배 빠르고 온디바이스 지원

TADA(Text-Acoustic Dual Alignment)는 Hume AI가 오픈소스로 공개한 음성 언어 모델이다. 텍스트 토큰과 연속적인 음향 벡터를 1대1로 직접 정렬하여, 기존 대형 언어 모델 기반 TTS의 고질병이던 느린 추론 속도와 음성 환각 현상을 깔끔하게 해결했다.

코드와 사전 학습 가중치가 모두 공개되었으며, 한국어와 중국어를 비롯한 10개 언어를 지원한다. 클라우드 서버에 의존하지 않고 스마트폰이나 엣지 기기 내부에서 직접 구동할 수 있을 만큼 가볍다.

어떻게 빠르고 정확하게 말하는가

기존 LLM 기반 TTS 시스템은 텍스트와 음성의 정보량 불일치 때문에 비효율이 컸다. 1초 분량의 텍스트가 2~3개 토큰에 불과한 반면, 음향 프레임은 초당 12.5~75개에 달해 컨텍스트 창이 음성 토큰으로 가득 차기 일쑤였다. 이로 인해 메모리 사용량이 치솟고, 모델이 문맥을 놓쳐 단어를 건너뛰거나 엉뚱한 말을 지어내는 환각이 잦았다.

TADA는 음성을 이산 오디오 토큰으로 잘게 쪼개는 대신, 텍스트 토큰 하나당 하나의 연속 음향 벡터를 1대1로 일치시켰다. 텍스트와 음성이 언어 모델 안에서 완전히 보폭을 맞춰 움직이는 구조다.

입력 시에는 인코더와 정렬기가 토큰에 해당하는 음향 특징을 추출하고, 출력 시에는 LLM의 은닉 상태를 조건 벡터로 삼아 플로우 매칭(Flow-matching) 헤드가 음향 특징을 복원한다. 구조 자체가 1대1 매핑으로 강제되어 있어 원리적으로 단어를 빠뜨리거나 환각을 일으킬 수 없다.

주요 성능과 현재의 한계

추론 속도를 나타내는 실시간 비율(RTF)은 0.09로, 동급 LLM TTS 시스템 대비 5배 이상 빠르다. 초당 음성 처리에 2~3개 프레임만 사용하므로 연산량이 획기적으로 줄어든 덕분이다.

LibriTTSR 데이터셋 1000개 이상의 테스트 샘플에서 문자 오류율(CER) 0.15 기준 환각 발생률 0건을 기록했다. 음성을 합성함과 동시에 텍스트 전사가 이뤄지므로 별도의 음성인식 파이프라인을 둘 필요도 없다.

컨텍스트 효율도 압도적이다. 기존 방식은 2048 토큰 창에서 약 70초 분량 음성을 다루는 데 그쳤지만, TADA는 동일한 예산으로 약 700초 분량을 담아낸다. EARS 데이터셋 인체 평가에서는 화자 유사도 4.18점, 자연스러움 3.78점을 얻어 훨씬 방대한 데이터로 학습된 시스템들을 제치고 종합 2위를 차지했다.

다만 장시간 생성 시 목소리 톤이 미세하게 흔들리는 화자 드리프트 현상이 관찰된다. 거부 샘플링 기법으로 완화했으나 완전히 해결된 것은 아니며, 긴 대화에서는 주기적으로 컨텍스트를 리셋하는 운용이 권장된다.

왜 중요한가

온디바이스 음성 비서나 스마트 하드웨어를 개발하는 엔지니어라면 TADA를 즉시 검토해 볼 만하다. 값비싼 클라우드 GPU 클러스터 없이도 로컬 기기에서 지연 시간과 API 비용 걱정 없이 고품질 대화형 음성을 구현할 수 있기 때문이다.

사후 학습이나 복잡한 토크나이저로 땜질하지 않고, 1대1 동기화라는 구조적 혁신으로 환각을 원천 차단한 설계가 매우 영리하다고 평가한다. 단 하나의 오작동도 치명적인 의료, 금융 등 엄격한 환경에 음성 AI를 도입하려는 팀에게 훌륭한 대안이 될 것이다.