일레븐랩스, 음성인식 모델 'Scribe' 공개…99개 언어 지원 및 Whisper 능가

생생한 AI 음성 합성으로 시장을 장악한 일레븐랩스가 마침내 '듣는' 기술까지 손에 넣었습니다.

일레븐랩스는 자체 첫 음성 텍스트 변환(STT) 모델인 '스크라이브(Scribe)'를 공개하며, 현존하는 전사 모델 중 가장 높은 정확도를 자랑한다고 발표했습니다.

99개 언어 지원과 웃음소리 감지까지

스크라이브는 전 세계 99개 언어를 지원합니다. 텍스트만 나열하는 대신 단어 단위 타임스탬프와 화자 분리, 웃음소리 같은 비언어적 오디오 이벤트를 감지해 구조화된 JSON 데이터로 출력합니다.

벤치마크 성적도 공격적입니다. FLEURS와 커먼 보이스(Common Voice) 테스트에서 오픈AI의 위스퍼 라지 V3(Whisper Large V3), 제미나이 2.0 플래시(Gemini 2.0 Flash), 딥그램 노바-3(Deepgram Nova-3)를 전반적으로 앞질렀습니다.

단어 오류율 면에서는 이탈리아어 98.7%, 영어 96.7%의 인식률을 기록했습니다. 회의록 작성과 영화 자막은 물론 음악 가사 전사에서도 강점을 보입니다.

특히 소외 언어와 방언에서의 개선이 눈에 띕니다. 광둥어, 세르비아어, 말라얄람어처럼 기존 모델들의 단어 오류율이 40%를 넘나들던 언어군에서 오류를 대폭 낮췄습니다.

개발자는 지금 바로 STT API를 통해 서비스를 연동할 수 있으며, 일반 사용자는 일레븐랩스 대시보드에서 오디오나 비디오 파일을 직접 업로드해 전사할 수 있습니다. 실시간 대화형 애플리케이션을 위한 저지연 버전은 곧 출시될 예정입니다.

왜 중요한가

일레븐랩스가 오디오 AI의 완전한 퍼즐을 맞췄다는 점에서 의미가 큽니다.

그동안 일레븐랩스의 음성 합성 기술로 음성 에이전트를 만들던 개발자들은 음성 인식 단계에서 위스퍼나 딥그램 같은 타사 엔진을 따로 엮어 써야 했습니다. 스크라이브가 들어서면서 일레븐랩스는 듣고 말하는 전 과정을 자사 인프라 내에서 원스톱으로 처리할 수 있게 됐습니다.

다국어 자막 제작자나 음성 분석 개발자라면 지금 바로 테스트해 볼 가치가 충분합니다. 단어 단위 타임스탬프와 웃음소리 같은 이벤트 태깅은 후작업 시간을 크게 줄여주기 때문입니다.

다만 완전한 음성 에이전트 시장을 장악하기 위한 핵심 열쇠는 지연 시간입니다. 현재 버전은 파일 기반 전사에 맞춰져 있어, 향후 출시될 저지연 실시간 모델이 나오기 전까지는 딥그램 등 기존 실시간 전사 전문 기업들과의 본격적인 속도 경쟁이 이어질 것으로 보입니다.