일레븐랩스, 'Eleven v4' 공개: 10초 음성 복제와 100ms 초저지연 지원

같은 "진정하세요"라는 한마디도 의사가 불안해하는 환자에게 건넬 때와 전장에 뛰어들기 직전 군인이 외칠 때의 어조는 완전히 다릅니다.

ElevenLabs는 역대 가장 풍부한 감정 표현력을 갖춘 음성 합성 모델 Eleven v4와 대화형 에이전트에 맞춘 저지연 모델 Eleven v4 Turbo를 공개했습니다.

Eleven v4는 Artificial Analysis 순위에서 1위를 차지했으며, Cartesia Sonic 3.6, Google Gemini 3.8 Flash TTS 등과의 블라인드 선호도 테스트에서 약 75%의 청취자 선택을 받았습니다.

연출 노트처럼 지문 태그로 감정 지시

새로운 아키텍처 기반의 Eleven v4는 문장을 단순히 이어 붙이는 대신 전체 대화 맥락을 파악해 호흡과 어조, 타이밍을 조절합니다.

사용자는 자연어로 대사 처리 방식을 지시할 수 있을 뿐 아니라, 텍스트 안에 인라인 태그를 직접 넣을 수도 있습니다.

예를 들어 문장 중간에 [laughs], [said angrily in French accent] 같은 감정 표현이나 [light rain], [phone buzzing] 같은 음향 효과 태그를 입력하면 모델이 이를 정확하게 반영해 출력합니다.

국제음성기호(IPA) 지원도 대폭 개선되어 고유명사나 특정 발음을 더 안정적으로 지정할 수 있게 되었습니다. 인스턴트 음성 복제(Instant Voice Cloning)에 필요한 오디오 분량은 10초로 줄어들었습니다.

장문 생성 시 화자의 일관성을 유지하는 요청 스티칭(request stitching) 성능도 개선되어 오디오북이나 긴 내레이션 제작 시 목소리가 중간에 변하는 현상이 줄었습니다.

100ms 지연 시간과 90개 이상 언어 현지화

저지연 환경을 위해 설계된 Eleven v4 Turbo는 추론 지연 시간 중앙값이 약 100ms이며, 웹소켓 스트리밍 환경에서 첫 음성 출력까지 걸리는 시간(TTFS)은 약 150ms 수준입니다. 이는 사람이 대화할 때 숨을 고르는 틈보다 빠릅니다.

그동안 음성 에이전트 구축 시에는 반응 속도를 위해 단조로운 로봇 음성을 감수해야 하는 경우가 많았습니다. ElevenLabs는 ElevenAgents 플랫폼과 결합해 지연 시간과 표현력을 동시에 잡겠다는 전략입니다.

두 모델 모두 90개 이상의 언어를 지원합니다. 특히 다른 언어로 전환했을 때 모국어 억양을 자연스럽게 살리는 능력이 크게 향상되어, 영어로 녹음된 목소리가 스페인어나 일본어를 구사할 때 본래 억양으로 미끄러지지 않고 현지 발음을 충실하게 유지합니다.

두 모델은 현재 ElevenAgents, ElevenCreative, ElevenAPI를 통해 바로 사용할 수 있습니다.

왜 중요한가

우리는 ElevenLabs가 음성 합성을 단순한 텍스트 낭독에서 '무대 연출'의 영역으로 끌어올렸다는 점을 높게 평가합니다. 텍스트 중간에 웃음이나 한숨 같은 인라인 태그를 넣는 것만으로도 인디 게임 개발자나 팟캐스트 제작자의 후반 편집 작업이 획기적으로 줄어듭니다.

10초 분량의 음성만으로 고유 음색을 복제해 90개 이상의 언어로 현지화할 수 있다는 점은 글로벌 마케팅과 콘텐츠 더빙의 비용 구조를 완전히 바꿀 잠재력이 있습니다.

150ms라는 첫 음성 응답 속도는 Cartesia 등 저지연 음성 기술 스타트업과의 속도 경쟁을 격화시키는 동시에, 기존 빅테크 기업들의 다소 단조로운 음성 비서 모델들을 압박하는 요인이 될 것입니다.

다만 10초라는 극도로 짧은 음성 데이터만으로 완벽에 가까운 다국어 음성을 생성할 수 있게 된 만큼, 음성 피싱이나 사칭 등 딥페이크 악용에 대한 업계 전반의 보안 방어선은 한층 더 무거운 시험대에 올랐습니다.