메타, 100개 언어 음성·텍스트 번역 올인원 AI 'SeamlessM4T' 공개

SeamlessM4T는 음성과 텍스트 간의 번역을 단일 신경망 구조 안에서 직접 처리하는 올인원 다중모달 인공지능 모델입니다.

기존의 음성 번역 서비스는 음성 인식으로 텍스트를 추출하고, 기계 번역을 거친 뒤, 다시 음성 합성으로 소리를 내는 파이프라인 방식을 주로 썼습니다. 이 방식은 단계마다 오류가 누적되고 응답 지연 시간이 길어지는 문제가 있었습니다.

SeamlessM4T는 이러한 전 과정을 단일 모델로 통합하여 오류 전파를 줄이고 처리 속도를 대폭 끌어올렸습니다.

지원 기능과 스펙

SeamlessM4T는 약 100개 언어를 지원하며, 음성과 텍스트를 아우르는 5가지 핵심 번역 작업을 수행합니다.

음성 입력 작업에서는 약 100개 언어의 음성 인식과 약 100개 입출력 언어 간의 음성 대 텍스트 번역을 처리합니다.

가장 기술적 난도가 높은 음성 대 음성 번역의 경우 약 100개 언어의 음성을 입력받아 영어를 포함한 36개 언어의 음성으로 직접 번역해 출력합니다.

텍스트 작업에서도 약 100개 언어 사이의 텍스트 상호 번역을 지원하며, 약 100개 언어의 텍스트를 입력받아 35개 언어의 음성으로 변환해 들려주는 텍스트 대 음성 변환도 가능합니다.

단일 모델 통합 방식과 공개 범위

SeamlessM4T는 메타가 지난 몇 년간 축적해 온 개별 언어 연구의 집약체입니다.

위키피디아 번역 도구로 도입된 200개 언어 지원 텍스트 번역 모델 NLLB, 널리 쓰이는 표기 체계가 없던 대만 호키엔어를 위해 선보였던 직접 음성 번역 데모, 1,100개 이상의 언어를 아우르는 MMS 프로젝트의 연구 결과가 이 단일 모델에 모두 녹아들었습니다.

메타는 연구자와 개발자가 자유롭게 실험할 수 있도록 SeamlessM4T를 연구용 라이선스로 공개했습니다.

모델 가중치와 함께 27만 시간 분량의 음성 및 텍스트 정렬 데이터를 담은 SeamlessAlign 데이터셋의 메타데이터도 함께 배포되었습니다. 세부 사항은 메타 AI 블로그를 통해 확인할 수 있습니다.

왜 중요한가

실시간 통역이나 다국어 음성 인터페이스를 개발하는 팀에게 SeamlessM4T는 복잡한 복수 모델 파이프라인을 걷어낼 수 있는 강력한 오픈소스 대안입니다. 여러 도구를 이어 붙이지 않고 하나의 모델에서 음성 입출력을 바로 끝낼 수 있어 지연 시간과 시스템 복잡도를 크게 낮출 수 있습니다.

현재 공개된 버전은 연구용 라이선스이므로 즉각적인 상용화에는 한계가 있고, 음성 출력 지원 언어가 36개로 입력 지원 언어보다 적다는 제약은 있습니다. 그러나 파편화되어 있던 음성·텍스트 번역 아키텍처를 단일 멀티모달 모델로 통합할 수 있음을 입증했다는 점에서 향후 범용 번역 시스템 구축의 새로운 기준점을 제시했습니다.