마이크로소프트, 음성인식 모델 'VibeVoice-ASR' 공개… 60분 오디오 단일 처리

마이크로소프트가 긴 오디오 전사 시 발생하는 문맥 단절과 화자 혼동 문제를 해결하기 위해 9B 크기의 음성인식 모델 'VibeVoice-ASR'을 오픈소스로 공개했다.

기존 음성인식 도구들은 긴 녹음 파일을 약 30초 단위로 잘라 개별적으로 처리한 뒤 이어 붙이는 방식을 주로 사용했다. 이 방식은 문맥이 끊기고 화자 식별이 엉키는 한계가 있었다. VibeVoice-ASR은 이러한 분할 방식을 버리고, 최대 60분에 달하는 오디오를 한 번에 입력받아 단일 패스로 처리한다.

주요 기능과 특징

이 모델은 음성인식(ASR), 화자 분리(Diarization), 타임스탬프 생성을 하나의 엔드투엔드 생성 작업으로 통합했다. 별도의 화자 분리 툴을 연결할 필요 없이, 오디오를 입력하면 화자 태그와 타임스탬프가 매핑된 텍스트가 바로 출력된다.

처리 속도와 정확도도 뛰어나다. 2분 분량의 오디오를 6초 이내에 전사하며, 벤치마크 테스트에서 Whisper 등 대형 모델보다 훨씬 낮은 오류율을 기록했다는 보고가 있다.

지원 언어의 경우, 논문 기준 50개 이상의 언어를 지원하며 사전 언어 설정 없이도 한 문장 내에서 여러 언어가 섞여 나오는 코드 스위칭을 자연스럽게 처리한다. 일부 보도에서는 100개 이상의 언어를 지원한다고도 언급된다.

프롬프트 기반의 문맥 주입 기능도 특징이다. 전문 용어나 고유명사, 동음이의어 정보를 프롬프트로 미리 전달해 특정 도메인의 인식 정확도를 크게 높일 수 있다.

실행 환경 및 공개 범위

현재 논문이 arXiv(arXiv:2601.18184)에 공개되어 있으며, 소스 코드가 오픈소스로 배포되어 파인튜닝을 지원한다.

모델 크기가 9B에 달하므로 60분 오디오를 단일 패스로 추론하거나 자체 데이터로 미세 조정하려면 넉넉한 VRAM을 갖춘 고성능 GPU 인프라가 필요하다.

왜 중요한가

팟캐스트나 장시간 회의 녹음 등 1시간 안팎의 오디오를 자주 다루는 개발자와 실무자에게 VibeVoice-ASR은 매우 매력적인 대안이다. 오디오를 조각내고 여러 모델을 파이프라인으로 엮던 번거로움을 단일 모델로 단순화했다.

오디오를 자르지 않고 화자 분리까지 한 번에 끝내는 방식은 차세대 음성 모델의 필수 흐름이 될 것으로 보인다. 9B 크기로 인해 로컬 구동 장벽은 다소 있지만, Whisper를 넘어 긴 호흡의 자체 전사 시스템을 구축하려는 기업과 개발자에게 매우 강력한 오픈소스 옵션이다.