마이크로소프트, 60분 오디오 한 번에 전사하는 'VibeVoice-ASR' 공개

VibeVoice-ASR은 마이크로소프트가 허깅페이스에 공개한 오픈소스 엔드투엔드 음성인식 모델이다. 핵심은 최대 60분에 달하는 연속 오디오를 잘라내지 않고 단 한 번의 추론으로 처리하며, 화자 정보와 타임스탬프가 포함된 텍스트를 곧바로 뽑아낸다는 점이다.

무엇을 할 수 있나

기존 음성인식 파이프라인은 긴 오디오를 수십 초 단위의 조각으로 잘라 처리하는 경우가 많았다. 이 방식은 문맥이 쉽게 끊기고 화자가 누구인지 추적하는 과정에서 오류가 자주 발생했다.

VibeVoice-ASR은 컨텍스트 길이를 64K 토큰까지 넓혀 한 시간 분량의 회의나 팟캐스트를 통째로 입력받는다. 전체 분량에서 문맥 일관성을 유지하면서 화자를 안정적으로 추적한다.

모델은 음성 전사와 화자 구분, 타임스탬프 부여를 단일 과정에서 함께 수행한다. 결과물은 누가 언제 무슨 말을 했는지를 명확히 담은 구조화된 데이터로 출력된다.

사용자 정의 핫워드 기능도 탑재됐다. 특정 고유명사나 전문 용어를 미리 프롬프트 형태로 입력해 두면 해당 도메인에 대한 전사 정확도를 끌어올릴 수 있다.

언어는 50개 이상을 지원하며 별도의 언어 설정이 필요 없다. 한 대화 안에서 여러 언어가 섞여 쓰이는 코드 스위칭 상황도 자연스럽게 처리한다.

어떻게 실행하나

실행 환경 구축은 허깅페이스 생태계에 바로 통합되어 있어 간단하다. 트랜스포머스 라이브러리 5.3.0 이상 버전이 설치되어 있다면 즉시 불러올 수 있다.

오토 프로세서와 전용 조건부 생성 클래스를 사용해 공식 허깅페이스 리포지토리 식별자를 지정하면 손쉽게 가중치를 내려받는다.

디코딩 옵션도 실용적이다. 기본 출력 외에도 시작 시간, 종료 시간, 화자 번호, 발화 내용이 담긴 딕셔너리 리스트로 바로 파싱하거나 순수 텍스트만 골라낼 수 있다.

현재 허깅페이스에 가중치가 모두 공개되어 있으며, 온라인 데모와 상세 기술 보고서도 함께 제공된다.

왜 중요한가

회의록 자동 생성기나 팟캐스트 편집 툴, 인터뷰 녹취 서비스를 개발하고 있다면 지금 당장 테스트해 볼 가치가 충분하다.

그동안 긴 오디오를 화자별로 분리 전사하려면 위스퍼 같은 모델에 별도의 다이어라이제이션 도구를 이어 붙여야 했고, 분할 지점마다 오차가 누적되는 번거로움이 컸다. 이를 하나의 모델로 일원화한 점은 개발 효율을 크게 높여준다.

다만 64K 토큰에 달하는 긴 입력을 한 번에 계산해야 하는 만큼 구동에 필요한 GPU VRAM과 연산 비용은 만만치 않으므로, 서비스 배포 전 인프라 비용을 잘 따져봐야 한다.