일레븐랩스, AI 음성 탐색 공간 '보이스 라이브러리' 출시

최근 숏폼 영상이나 오디오북에서 사람과 구분이 안 될 정도로 자연스러운 AI 목소리를 들었다면, 그 배경에는 일레븐랩스의 기술이 자리 잡고 있을 가능성이 높습니다.

음성 복제 기술로 잘 알려진 일레븐랩스는 현재 플랫폼을 콘텐츠 제작 중심의 일레븐크리에이티브와 대화형 에이전트 구축 중심의 일레븐에이전츠 두 축으로 고도화했습니다.

음성 도서관부터 배경음악과 효과음까지

단순한 텍스트 음성 변환 서비스를 넘어, 일레븐랩스의 음성 라이브러리에는 현재 17500개 이상의 음성이 등록되어 있습니다. 지원하는 언어만 90개 이상입니다.

제작 환경에서는 목소리를 복제하거나 프롬프트로 새 음성을 만드는 것 외에도, 배경음악과 효과음을 직접 생성하는 기능까지 통합되어 있습니다.

특히 베오, 완, 클링, 시댄스 같은 주요 영상 및 이미지 생성 모델과도 연계되어 아이디어를 음성 합성에서 영상 제작으로 바로 연결할 수 있도록 지원합니다.

엔비디아가 다국어 마케팅 콘텐츠 제작에 이를 도입해 활용하고 있으며, 듀오링고 역시 학습 및 마케팅용 캐릭터 음성에 일레븐랩스 기술을 사용하고 있습니다.

75밀리초 지연 시간으로 구현하는 대화 에이전트

기업용 솔루션인 일레븐에이전츠는 전화, 웹 채팅, 이메일, 왓츠앱을 넘나드는 옴니채널 고객 응대 AI를 구축하는 데 초점을 맞춥니다.

자연스러운 음성 대화를 위해 일레븐 플래시 모델 기준 대화 지연 시간을 75밀리초 수준까지 낮췄습니다.

여기에 98% 정확도를 지원하는 음성 인식 모델 일레븐 스크라이브를 결합해 화자 분리와 문자 단위 타임스탬프 기능을 제공합니다.

실제 배포 전 대화 흐름을 검증할 수 있는 시뮬레이션 테스트와 기업 정책에 맞게 동작하도록 제어하는 가드레일 기능도 탑재되었습니다.

왜 중요한가

일레븐랩스의 전략은 단순한 목소리 생성 도구에 머무르지 않고, 오디오 제작과 고객 상담 인프라 전체를 장악하겠다는 의도로 읽힙니다.

창작자나 개발자 입장에서는 성우 섭외, 음향 효과 구매, 배경음악 라이선스를 따로 챙길 필요 없이 단일 플랫폼에서 완성도 높은 오디오 파이프라인을 구축할 수 있게 되었습니다.

산업 측면에서는 75밀리초에 불과한 저지연 음성 대화 기술이 90개 이상 언어로 보급되면서, 기존 콜센터와 고객 상담 시스템의 전환 속도를 크게 끌어올릴 것으로 보입니다.

다만 고품질 음성 합성이 보편화될수록 명의 도용이나 음성 딥페이크에 따른 악용 리스크 역시 커질 수밖에 없습니다. 일레븐랩스가 마련한 가드레일이 실제 시장에서 얼마나 안전장치 역할을 해낼지가 장기적인 신뢰를 좌우할 것입니다.