일레븐랩스, 150ms 초저지연 실시간 음성인식 'Scribe v2 Realtime' 공개

음성 AI와 대화를 나눌 때 문장이 끝난 뒤 이어지는 어색한 침묵은 몰입감을 깨뜨리는 가장 큰 원인이었습니다.

음성 생성 AI 기업 ElevenLabs가 2025년 11월 11일, 초저지연 실시간 음성인식 모델인 Scribe v2 Realtime을 공식 출시했습니다.

이 모델은 음성 에이전트, 실시간 회의록 작성, 라이브 자막 등 실시간 상호작용 환경을 위해 설계되었습니다. 영어, 프랑스어, 독일어, 이탈리아어, 스페인어, 포르투갈어는 물론 힌디어와 일본어를 포함한 90개 이상의 언어를 지원하며, 전사 지연 시간을 150ms 미만으로 줄였습니다.

공식 발표에 따르면 유럽 및 아시아 30개 주요 언어에서 93.5%의 정확도를 기록했습니다.

예측 기술로 지연을 없애는 방식

대화의 자연스러움을 살리기 위해 Scribe v2 Realtime에는 여러 공학적 장치가 도입되었습니다.

가장 눈에 띄는 기능은 네거티브 레이턴시입니다. 사용자의 음성을 실시간으로 처리하면서 다음 단어와 문장 부호를 미리 예측해 지연을 상쇄합니다.

대화 도중 언어를 바꾸더라도 별도 설정 없이 이를 감지하는 자동 언어 감지 기능도 탑재되었습니다.

네트워크 연결이 끊겼을 때를 대비한 텍스트 컨디셔닝 기능도 유용합니다. 연결이 재설정되면 직전 배치 데이터의 맥락을 이어받아 끊김 없이 전사를 계속 진행합니다.

이 밖에도 음성 활동 감지 기능, 텍스트 확정 시점을 개발자가 제어하는 수동 커밋, 48kHz PCM 및 μ-law 오디오 포맷 지원 등이 포함되었습니다.

소음과 복잡한 정보가 섞인 500개의 까다로운 음성 샘플 테스트에서 기존 다른 모델들을 크게 앞서는 성능을 보였다고 회사 측은 설명했습니다.

현재 이 기능은 ElevenLabs API와 ElevenLabs Agents 플랫폼을 통해 즉시 사용할 수 있으며, SOC 2, HIPAA, GDPR 준수 및 제로 리텐션 모드 등 엔터프라이즈 환경도 지원합니다.

왜 중요한가

실시간 고객 상담 봇이나 보이스 에이전트를 개발하는 팀이라면 지금 바로 검토해 볼 만한 가치가 있습니다.

그동안 개발자들은 별도의 STT 엔진을 LLM 및 ElevenLabs의 TTS와 조합해 시스템을 구축해 왔고, 그 과정에서 누적되는 지연 시간이 늘 골칫거리였습니다. 이제 150ms 미만의 고속 인식 엔진이 추가되면서 하나의 생태계 안에서 지연을 최소화한 음성 파이프라인을 완성할 수 있게 되었습니다.

업계 전반으로 보면 Deepgram 같은 기존 실시간 음성인식 전문 기업들과의 경쟁이 본격화될 것으로 보입니다. 완전한 엔드투엔드 음성 모델이 주목받고 있지만, 기업 환경에서는 여전히 규제 검토와 기록 관리를 위해 텍스트 데이터 추출이 필수적입니다.

우리가 보기에 ElevenLabs는 엔드투엔드 모델의 불확실성을 피하면서 실제 기업이 필요로 하는 초저지연 텍스트 변환 파이프라인을 매우 영리하게 파고들었습니다. 당장 현업에서 반응 속도가 빠른 음성 서비스를 구현해야 하는 개발자에게 강력한 선택지가 될 것으로 보입니다.