메타, 1100개 이상 언어 지원하는 음성 AI 모델 ‘MMS’ 오픈소스 공개

메타가 오픈소스로 공개한 ‘대규모 다국어 음성(Massively Multilingual Speech, MMS)’은 음성 AI 기술이 지원하는 언어의 지평을 단숨에 10배 이상 넓힌 모델 제품군이다.

기존의 음성 인식(STT) 및 음성 합성(TTS) 도구는 기껏해야 100여 개 언어를 지원하는 데 그쳤다. MMS는 지원 언어를 1100개 이상으로 대폭 늘렸으며, 식별할 수 있는 구어의 종류는 4000개 이상에 달한다.

어떻게 만들었나

수천 개 언어를 지원하는 음성 모델을 만들 때 가장 큰 걸림돌은 레이블이 달린 오디오 데이터의 부족이다. 기존 오픈 데이터셋으로는 100개 언어를 모으는 것이 한계였다.

메타 연구진은 전 세계 수많은 언어로 번역되어 온 성경 등 종교 텍스트에서 해결책을 찾았다. 이러한 번역본에는 사람들이 텍스트를 소리 내어 읽은 공개 녹음 자료가 풍부하게 존재하기 때문이다.

MMS 프로젝트 팀은 1100개 이상의 언어로 낭독된 신약성서 음성을 모아 언어당 평균 32시간 분량의 데이터셋을 구축했다. 여기에 라벨이 지정되지 않은 다른 기독교 종교 낭독 음성까지 추가해 식별 가능한 언어를 4000개 이상으로 늘렸다.

남성 화자 중심의 녹음과 종교적 텍스트로 인한 편향 우려에 대해, 메타는 분석 결과 모델이 남성과 여성 음성 모두에서 대등한 성능을 보였으며 종교적인 어휘를 편향되게 생성하지도 않았다고 밝혔다.

무엇을 할 수 있나

MMS는 모델 가중치와 코드가 모두 오픈소스로 공개되어 연구자와 개발자가 즉시 활용할 수 있다.

음성 인식과 음성 합성, 4000개 이상의 언어 식별 기능을 모두 제공하므로, 가상현실(VR)이나 증강현실(AR) 기기의 음성 제어, 메시징 서비스의 소수 언어 지원 등에 폭넓게 응용할 수 있다.

다만 메타는 기존 음성 기술과 마찬가지로 지역 방언을 처리하는 데는 여전히 과제가 남아 있으며, 앞으로 지원 언어를 더 늘리고 방언 처리 문제도 개선해 나갈 계획이라고 덧붙였다.

왜 중요한가

소수 언어 대상 서비스를 개발하거나 소멸 위기 언어를 디지털로 보존하려는 연구자에게 MMS는 현재 가장 방대한 커버리지를 자랑하는 필수 오픈소스 베이스 모델이다. 음성 데이터를 구하기 힘든 언어의 경우 처음부터 모델을 구축하는 것이 불가능에 가까웠지만, 이제는 MMS를 가져와 파인튜닝할 수 있는 출발점이 생겼다.

전 세계에 널리 퍼진 성경 낭독 녹음을 활용해 데이터 병목을 뚫어낸 아이디어는 매우 영리하다.

물론 언어당 평균 32시간의 데이터는 대규모 주요 언어 모델의 학습량에 비하면 다소 적어, 잡음이 심한 환경이나 일상 대화에서는 정확도가 떨어질 수 있다. 그럼에도 기술의 혜택에서 소외되어 있던 수천 개 언어를 AI 생태계 안으로 끌어들였다는 점에서 그 실용적 가치는 충분하다.