메타, 실시간 음성 모델 '뮤즈' 공개…20명 이상 화자 분리 지원

여러 명이 동시에 발언하고 한국어와 영어가 뒤섞이는 다국적 화상 회의는 기존 음성 인식 도구들에게 늘 골칫거리였습니다.

Meta Superintelligence Labs는 9월 1일, 연구소의 첫 실시간 오디오 인지 모델인 'Muse Voice Transcribe'를 공개하며 이 문제에 도전장을 냈습니다.

자귀회귀 모델군인 Muse Spark를 기반으로 제작되었으며, 9월 1일 기준 Artificial Analysis의 스트리밍 음성 텍스트 변환 및 화자 분리 벤치마크에서 모두 1위를 기록했습니다.

맥락에 따라 지연 시간을 조절하는 구조

Muse Voice Transcribe는 오디오를 80ms 단위의 청크로 쪼개어 각각을 소프트 토큰으로 변환해 처리합니다.

모델은 오디오를 더 들을지, 아니면 즉시 텍스트 토큰을 생성할지를 매 순간 스스로 판단합니다.

속도와 정확도 사이의 균형을 맞추기 위해 강화학습 기반의 '적응형 지연(Adaptive Delay)'을 도입했습니다. 쉬운 단어는 즉시 받아적고 모호한 발음은 맥락을 더 파악한 뒤 출력합니다.

화자 분리와 발화 종료 감지도 특수 토큰을 통해 모델 내부에서 직접 처리합니다. 별도의 후처리 없이 20명 이상의 화자를 동시에 구분해냅니다.

지원 언어는 학습 기준 70개 이상이며, 25개 언어에 대해 정밀 검증을 마쳤습니다. 문장 중간에 언어를 바꾸는 혼용 발화도 자연스럽게 인식합니다.

1시간이 넘는 긴 오디오도 분할 없이 곧바로 처리할 수 있습니다. 현재 Meta Model API와 Mac용 Meta AI(Fn 키를 길게 눌러 실행), Muse Code에서 즉시 사용할 수 있습니다.

왜 중요한가

우리는 Meta가 음성 인식과 화자 분리, 발화 감지를 개별 모듈로 쪼개지 않고 단일 자귀회귀 모델로 깔끔하게 통합한 점을 높게 평가합니다.

그동안 실시간 음성 에이전트를 구축하려면 음성 감지, 텍스트 변환, 화자 분류 모델을 줄줄이 이어 붙여야 했고, 그 과정에서 지연 시간과 오차가 누적되는 문제가 있었습니다.

강화학습을 통해 모델이 문맥 난이도에 맞춰 스스로 지연을 조절하게 만든 방식은 음성 AI 개발자들에게 복잡한 파이프라인을 걷어내는 계기가 될 것으로 보입니다.

20인 이상의 대규모 화자 분리와 자연스러운 다국어 교차 인식은 실제 기업의 다국적 회의록 작성에서 체감할 수 있는 실질적인 개선점입니다.

다만 80ms 단위로 실시간 자귀회귀 추론을 돌리는 구조는 서버 운영 비용 측면에서 상당한 부담이 될 수 있습니다. 향후 이 아키텍처를 온디바이스 환경에 맞게 얼마나 효율화할 수 있는지가 관건입니다.