미스트랄, '복스트랄 트랜스크라이브 2' 출시…4B 실시간 음성인식 모델 오픈소스 공개

Voxtral Realtime은 미스트랄 AI가 오픈소스로 공개한 4B 매개변수 규모의 온디바이스 음성인식 모델로, 초저지연 실시간 스트리밍 처리에 최적화되어 있습니다.

아파치 2.0 라이선스로 가중치가 완전 공개되어 로컬 엣지 기기에 직접 올려 구동할 수 있습니다. 민감한 음성 데이터를 클라우드로 전송하지 않고 온디바이스에서 음성 비서나 실시간 자막 시스템을 구축하려는 개발자에게 유용한 도구입니다.

네이티브 스트리밍 구조로 지연 시간 200ms 이하 달성

기존 오프라인 모델을 실시간 처리에 활용할 때는 보통 오디오를 수 초 단위 청크로 잘라 넘기는 방식을 썼습니다. 반면 Voxtral Realtime은 소리가 입력되는 즉시 변환하는 네이티브 스트리밍 아키텍처를 적용했습니다.

지연 시간은 작업 환경에 맞춰 조절할 수 있으며 최저 200ms 미만까지 낮출 수 있습니다. 480ms 지연 설정 기준 FLEURS 벤치마크 단어 오류율은 오프라인 모델과 1~2% 차이에 불과하며, 실시간 자막 제작을 위해 2.4초로 버퍼를 두면 최신 배치 전용 모델과 동일한 정확도를 냅니다.

한국어, 영어, 중국어, 일본어, 독일어, 스페인어 등 13개 언어를 기본 지원합니다. 4B 매개변수 크기 덕분에 엣지 장비에서도 무리 없이 구동되며 보안과 프라이버시를 온전히 지킬 수 있습니다.

분당 0.003달러의 배치 전용 모델도 함께 출시

오픈소스 Realtime 모델과 더불어 대용량 음성 처리를 위한 클라우드 모델 Voxtral Mini Transcribe V2도 함께 공개되었습니다. API 이용 가격은 분당 0.003달러 수준으로 책정되었습니다. 더 디코더 보도에 따르면 Realtime 모델을 API로 호출할 경우 배치 모델의 2배 가격이 적용됩니다.

미스트랄에 따르면 Mini V2는 FLEURS 벤치마크에서 약 4%의 단어 오류율을 기록하며 GPT-4o mini Transcribe, 제미나 2.5 플래시, 딥그램 노바의 정확도를 앞섰습니다. 일레븐랩스의 Scribe v2와 비교하면 품질은 동등하면서도 비용은 5분의 1 수준이고 처리 속도는 약 3배 빠릅니다.

기능적으로는 최대 3시간 분량의 오디오 단일 요청 처리, 단어 수준 타임스탬프, 화자 분리 기능을 지원합니다. 다만 대화가 겹치는 구간에서는 보통 한 명의 발화만 전사됩니다. 최대 100개의 고유명사나 전문 용어를 미리 주입해 인식률을 높이는 컨텍스트 바이어싱 기능도 제공되며, 현재 영어에 최적화되어 있고 다른 언어는 실험적으로 지원됩니다.

실시간 모델 구축을 원하는 사용자는 허깅페이스 허브에서 Voxtral Realtime 가중치를 즉시 내려받을 수 있습니다. 브라우저에서 먼저 테스트해보고 싶다면 미스트랄 스튜디오의 오디오 플레이그라운드에서 최대 1GB 파일로 직접 기능을 검증할 수 있습니다.

왜 중요한가

음성 대화 에이전트나 프라이빗 실시간 음성인식 파이프라인을 구축하는 팀이라면 지금 바로 받아 검증해볼 만합니다. 그동안 오픈소스 음성인식 분야는 위스퍼가 사실상 표준이었지만, 청크 기반 구조 탓에 대화형 AI에 필요한 극단적인 반응 속도를 내기 어려웠습니다. 4B 크기의 가벼운 모델로 200ms 미만 네이티브 스트리밍을 구현하고 아파치 2.0으로 푼 점은 엣지 음성 작업의 큰 진전입니다.

동시에 배치 API 가격을 분당 0.003달러로 낮추면서 기존 클라우드 음성 전사 서비스 전반에 상당한 가격 인하 압박을 가하게 되었습니다. 온디바이스에서 안전하게 실시간 음성을 처리하든, 클라우드에서 회의 녹음을 저비용으로 대량 변환하든 모두에게 강력한 대안이 생겼습니다.