아마존, 9.8억 파라미터 음성 모델 ‘BASE TTS’ 공개…창발적 능력 확인

AI 음성 비서에게 조금만 길고 복잡한 문장을 읽혀보면, 엉뚱한 곳에서 억양이 튀거나 어색한 기계음이 여지없이 드러나곤 했습니다.

아마존 AGI 연구진이 공개한 BASE TTS는 이러한 한계를 넘기 위해 개발된 역대 최대 규모의 음성 합성 AI 모델입니다. 대형 언어 모델에서 나타나던 이른바 '창발적 능력'이 음성 모델에서도 일정 규모를 넘어서면 나타난다는 사실을 입증했습니다.

4억 파라미터에서 나타난 능력의 도약

언어 모델은 크기를 키우다 보면 어느 순간 학습하지 않은 작업까지 유연하게 해내는 임계점을 맞이합니다. 아마존 연구진은 텍스트 음성 변환 모델 역시 덩치를 키우면 같은 현상이 일어나는지 확인하고자 했습니다.

연구진은 세 가지 크기로 모델을 만들어 비교했습니다. 1000시간 오디오를 학습한 1억 5000만 파라미터 모델, 1만 시간 기반의 4억 파라미터 모델, 그리고 10만 시간 분량의 공개 오디오를 투입한 9억 8000만 파라미터의 BASE-large입니다. 데이터는 90%가 영어이며 독일어, 네덜란드어, 스페인어가 일부 포함됐습니다.

실험 결과, 연구진이 기대했던 능력의 급격한 도약은 중간 크기인 4억 파라미터 모델에서부터 관측되었습니다. 일반적인 음질 점수는 소폭 상승하는 데 그쳤지만, 까다로운 문장을 소화하는 능력에서 뚜렷한 격차가 발생했습니다.

길게 이어지는 복합 명사의 강세 배치, 낯선 외국어 발음, 문장 부호 기호 처리, 속삭이듯 말하거나 흥분해서 소리치는 감정선 표현까지 별도 학습 없이도 자연스럽게 처리해 냈습니다. 기존의 Tortoise나 VALL-E 같은 모델들이 단어를 빠뜨리거나 억양을 틀리던 난문들을 매끄럽게 발음한 것입니다.

또한 전체 문장이 완성될 때까지 기다릴 필요 없이 낮은 비트레이트로 실시간 스트리밍 생성이 가능하며, 음성의 운율과 감정 메타데이터를 별도 스트림으로 묶어 전송할 수 있도록 설계되었습니다.

모델은 비공개, 테스트셋만 공개

인상적인 결과를 냈지만 아마존은 모델 가중치와 학습 데이터를 외부에 공개하지 않기로 결정했습니다. 악의적인 음성 복제나 사기 등에 악용될 위험을 차단하겠다는 이유입니다.

대신 모델의 창발적 능력을 측정하는 데 사용한 평가용 테스트 세트는 누구나 검증할 수 있도록 공개했습니다.

아마존 AI 관계자인 레오 자오는 이러한 창발적 능력이 자사 모델만의 전유물이라고 단정하기는 이르다고 밝혔습니다. 공개된 테스트 세트를 다른 모델에 적용해도 유사한 결과가 나올 수 있으며, 음성 모델의 스케일링 법칙은 이제 막 초기 단계에 진입했을 뿐이라는 설명입니다.

왜 중요한가

콘텐츠 제작자나 일반 사용자 관점에서 이번 연구는 AI 음성이 '불쾌한 골짜기'를 벗어날 수 있는 확실한 열쇠를 보여줍니다. 오디오북 낭독이나 게임 내 대사에서 상황에 맞게 목소리를 낮춰 속삭이거나 복잡한 문장을 자연스럽게 끊어 읽는 수준에 도달했기 때문입니다. 다만 아마존이 상용 제품으로 풀거나 오픈소스로 배포하지 않은 실험 연구 단계인 만큼, 지금 당장 업무에 도입해 쓸 수는 없고 데모 샘플을 청취해보는 데 만족해야 합니다.

음성 AI 산업 전반에는 언어 모델식 체급 경쟁의 신호탄을 쏘아 올렸습니다. 지금까지 음성 합성 스타트업들은 상대적으로 작은 모델에 정교한 후처리 알고리즘을 덧붙이는 데 집중해 왔으나, 10만 시간 오디오와 수억 개 파라미터가 결합하면 모델이 복잡한 화용론을 스스로 깨친다는 점이 확인되었습니다.

우리가 보기에 아마존은 모델 공개를 유보해 딥페이크 논란을 피하면서도, 평가 벤치마크를 선점해 음성 모델 창발성 연구의 표준을 쥐려는 영리한 수를 뒀습니다. 다만 음성 모델은 텍스트 파운데이션 모델에 비해 학습 비용이 훨씬 적게 들기 때문에, 오픈소스 진영이 머지않아 비슷한 규모의 모델을 재현해 낼 것으로 보입니다.