MS, 초저지연 음성 복제 모델 'MAI-Voice-2.1' 공개

AI 음성 비서와 대화할 때 말문이 막히는 가장 큰 이유는 미묘하게 늦게 들어오는 답변 때문입니다. 내가 말을 끝내고 나서 한 박자 쉬고 로봇 같은 목소리가 튀어나오는 순간 몰입감은 깨져버립니다.

마이크로소프트가 이 지연 시간을 없애기 위해 새로운 텍스트 음성 변환 모델인 MAI-Voice-2.1과 초고속 버전인 MAI-Voice-2.1-Flash를 공개했습니다. 함께 발표된 실시간 전사 모델과 결합해 사람과 자연스럽게 주고받는 음성 대화 환경을 만들겠다는 계획입니다.

45밀리초 지연 시간과 즉각적인 목소리 복제

가장 눈에 띄는 부분은 압도적인 속도입니다. 지연 시간에 민감한 환경을 위해 설계된 MAI-Voice-2.1-Flash는 모델 추론 지연 시간이 약 45밀리초에 불과합니다. 마이크로소프트에 따르면 45초 분량의 오디오를 생성할 때 전체 엔드투엔드 지연 시간이 150밀리초 수준입니다.

가격은 100만 자당 15달러로 책정되었습니다. 동급 모델 대비 약 60% 저렴한 수준이라 콜센터나 실시간 음성 비서처럼 대규모 트래픽이 발생하는 서비스에 적합합니다.

음질에 초점을 맞춘 표준 모델 MAI-Voice-2.1은 추론 지연 시간이 약 550밀리초이며 가격은 100만 자당 22달러입니다. 오디오북, 팟캐스트, 영상 더빙 등 자연스러운 호흡과 음질이 우선인 작업에 맞춰졌습니다.

두 모델 모두 단 몇 초 분량의 참조 음성만 있으면 파인튜닝 없이 즉시 목소리를 복제하는 제로샷 프롬프팅을 지원합니다. 세밀한 감정 제어도 가능해 명상 안내의 차분한 어조부터 스포츠 중계의 격앙된 목소리까지 폭넓게 표현합니다.

23개 언어를 고유한 억양으로 구사하는 동일 화자

다국어 기능도 눈여겨볼 만합니다. 한국어와 영어, 중국어 간체, 독일어, 프랑스어 등 총 23개 언어(26개 지역)를 지원합니다.

특히 한 사람의 음성 톤을 유지하면서 여러 언어를 현지인처럼 구사할 수 있습니다. 예를 들어 튜터링 앱에서 동일한 강사의 목소리로 영어를 말하다가 한국어로 전환해도 목소리의 정체성은 유지되면서 각 언어의 자연스러운 발음과 억양을 살려냅니다.

여기에 함께 선보인 MAI-Transcribe-2-Streaming은 음성을 수신한 지 약 100밀리초 만에 첫 텍스트 가설을 반환하는 실시간 스트리밍 모델입니다. 연말까지 오디오 시간당 0.54달러에 제공됩니다.

현재 이 모델들은 OpenRouter, Microsoft Foundry, MAI Playground, Vercel, Azure Voice Live를 통해 사용할 수 있으며 LiveKit 지원도 예정되어 있습니다.

왜 중요한가

자연스러운 음성 에이전트를 만드는 핵심은 결국 밀리초 단위의 시간을 아끼는 일입니다. 상대방이 말을 끝내자마자 반응해야 사람이 대화하고 있다고 느끼기 때문에, 듣고 생각하고 말하는 전 과정에서 음성 합성 지연을 줄이는 것이 필수적이었습니다.

우리는 마이크로소프트의 이원화 전략이 매우 실용적이라고 봅니다. 모든 성능을 하나의 모델에 무리하게 담는 대신, 고음질 콘텐츠 제작용과 45밀리초 반응 속도를 내는 플래시 모델로 분리해 개발자가 비용과 성능을 쉽게 저울질할 수 있게 만들었습니다. 100만 자당 15달러라는 가격 역시 대규모 콜센터 인프라를 전환하려는 기업들에게 매력적인 조건입니다.

단 몇 초의 음성으로 화자를 복제할 수 있다는 점은 강력하지만 딥페이크나 사칭 같은 위험도 동반합니다. 마이크로소프트는 동의 기반의 안전장치를 내장했다고 밝혔으나 실제 현장에서 얼마나 오용을 막을 수 있을지는 지켜볼 대목입니다. 그럼에도 실시간 음성 상호작용 서비스를 준비하는 개발자라면 지금 바로 테스트해 볼 가치가 충분합니다.