600개 이상 언어 지원하는 음성 모델 'OmniVoice' 공개, 몇 초 만에 다국어 음성 복제

여러 언어로 콘텐츠를 현지화할 때 가장 큰 장벽은 목소리의 일관성을 유지하는 일이었습니다. 주요 언어가 아니라면 제대로 된 음성 합성 도구를 찾는 것조차 불가능에 가까웠습니다.

600개 이상의 언어를 지원하는 제로샷 음성 합성 모델 OmniVoice가 오픈소스로 공개됐습니다. 소스 코드와 사전 학습 가중치가 모두 무료로 배포되어 누구나 직접 활용해 볼 수 있습니다.

몇 초 만에 끝나는 음색 복제와 텍스트 기반 맞춤 음성

공개된 데모에 따르면 OmniVoice는 단 몇 초 분량의 참조 오디오와 대본 텍스트만 있으면 즉시 목소리를 복제합니다.

단순히 톤만 흉내 내는 데 그치지 않고 화자의 말투와 긴장감, 감정선까지 그대로 가져옵니다. 긴박한 어조로 말한 영어 샘플을 기반으로 새 텍스트를 읽히면 원본 특유의 감정 톤이 고스란히 묻어납니다.

언어를 넘나드는 크로스링구얼 음성 이전도 돋보입니다. 4초짜리 짧은 영어 대화 오디오를 입력한 뒤 일본어, 한국어, 러시아어, 프랑스어 문장을 입력하면 본래 화자의 음색 그대로 유창하게 발화합니다.

참조 오디오가 아예 없더라도 문제없습니다. 텍스트 프롬프트를 통해 인도 억양의 높은 남성 목소리나 나이 든 영국 여성 목소리처럼 원하는 설정을 묘사해 새 음성을 바로 만들어낼 수 있습니다.

웃음, 불만, 놀람 같은 감정 태그를 문장에 섞어 넣어 발화의 뉘앙스를 세밀하게 제어하는 기능도 갖췄습니다.

복잡한 2단계 파이프라인을 걷어낸 설계

수백 개 언어를 하나의 모델로 처리하기 위해 연구진은 기존 음성 모델의 구조적 한계를 걷어냈습니다.

기존의 비자기회귀 모델은 텍스트를 의미 표현으로 바꾸고 이를 다시 음향 특성으로 변환하는 복잡한 2단계 파이프라인을 거치다 보니 다국어 확장 시 성능 저하가 잦았습니다.

OmniVoice는 디퓨전 언어 모델 스타일의 이산 비자기회귀 구조를 적용해 텍스트를 다중 코드북 음향 토큰으로 바로 매핑합니다.

발음의 정확도와 명료도를 확보하기 위해 사전 학습된 대규모 언어 모델(LLM)로 가중치를 초기화하는 방식을 택했습니다.

학습 효율을 극대화하는 전체 코드북 무작위 마스킹 전략을 도입했으며, 순수 오픈소스 오디오로만 구축한 58만 1천 시간 규모의 다국어 데이터셋으로 학습을 마쳤습니다. 중국어, 영어는 물론 FLEURS-102 등 글로벌 벤치마크에서도 최고 수준의 성능을 입증했습니다.

왜 중요한가

인디 게임 개발자나 글로벌 크리에이터에게 OmniVoice는 해외 현지화 작업의 판도를 바꿀 도구입니다. 국가마다 성우를 섭외하지 않고도 단 하나의 음성 샘플로 수백 개 언어 버전을 손쉽게 찍어낼 수 있기 때문입니다.

음성 AI 업계 전반으로 봐도 다국어 커버리지는 빅테크의 전유물로 여겨지던 영역이었습니다. 공개 데이터셋만으로 600개 이상 언어에서 정상급 성능을 내는 오픈 모델이 나오면서 상용 API 서비스들의 가격 인하 압박도 커질 것으로 보입니다.

사전 학습된 LLM을 기반으로 삼아 음성의 명료성을 단번에 끌어올린 점은 기술적으로 매우 영리한 선택입니다. 다만 600여 개 언어 중 데이터가 극도로 부족한 소수 언어의 경우 복잡한 장문 발화에서 얼마나 안정성을 유지할지는 커뮤니티의 추가 검증이 필요해 보입니다.