일레븐랩스, 영상에 맞는 음악 자동 생성하는 새 기능 출시
일레븐랩스는 '일레븐랩스 스튜디오'에 비디오 기반 음악 생성 기능을 추가했다. 일레븐 뮤직 모델을 통해 영상 내용에 어울리는 맞춤형 사운드트랙을 클릭 한 번으로 생성하며, 스튜디오 내에서 보이스오버와 효과음까지 바로 덧입힐 수 있다.
ElevenLabs
최신 소식 보기
일레븐랩스, 실제 악기 연주와 AI 생성 트랙 결합한 하이브리드 음원 제작 시연
일레븐랩스가 실제 악기 연주 녹음과 일레븐 뮤직으로 생성한 AI 트랙을 결합하는 하이브리드 음원 제작 방식을 공개했다. 원샷 프롬프트를 통해 라이브 피아노 연주에 AI 바이올린 및 보컬을 매끄럽게 합성하는 단일 테이크 데모를 선보였다.
일레븐랩스, 상업적 이용 가능한 AI 음악 모델 '일레븐 뮤직' 공개
일레븐랩스가 음악 생성 모델 '일레븐 뮤직'을 발표했다. 저작권 소송에 휘말린 기존 업체들과 달리, 멀린 네트워크 및 코발트와 정식 라이선스 계약을 맺고 아티스트가 자발적으로 동의한 음원만 학습에 활용해 상업적 이용이 가능하도록 정리했다.
옐프, 이용자 리뷰·사진 엮어 만든 AI 맛집 소개 영상 iOS에 도입
옐프는 미국 전역 iOS 앱 홈 피드에 AI 기반 식당 소개 숏폼 영상을 도입했다. 오픈AI로 대본을 쓰고 일레븐랩스 음성과 아마존 자막을 입혀 리뷰를 영상으로 엮어낸다. 현재 업주의 사전 검토나 이용자의 사진 제외 옵션은 지원되지 않는다.
일레븐랩스, v3 오디오 태그 출시: 대본에 태그 달아 AI 말투·호흡 조절
일레븐랩스가 Eleven v3를 위한 '오디오 태그(Audio Tags)' 기능을 공개했다. 대본에 [pause], [rushed], [stammers] 같은 태그를 직접 삽입해 말의 속도, 호흡, 강조점을 연출하듯 세밀하게 제어할 수 있다. 다만 현재 전문 음성 복제(PVC) 모델에는 완벽히 최적화되지 않았다.
일레븐랩스, 감정 표현과 오디오 태그 제어 강화한 'Eleven v3' 알파 공개
일레븐랩스가 문맥과 감정을 정밀하게 반영하는 음성 합성 모델 'Eleven v3'의 알파 버전을 공개했습니다. 70개 이상의 언어와 요청당 최대 5,000자를 지원하며, 오디오 태그를 통해 속삭임이나 웃음 같은 연출을 직접 제어할 수 있습니다. 성우 없이도 게임이나 영상 콘텐츠에 생동감 넘치는 캐릭터 음성을 즉시 구현할 수 있게 됩니다.
음성 AI 투자 8배 급증… 사람 닮은 챗봇에 콜센터 대체 가속
CB Insights 데이터에 따르면 음성 AI 스타트업의 연간 투자 유치액이 전년 대비 8배 늘어난 21억 달러에 달했다. 오픈AI의 Realtime API 등 기술 발전으로 지연과 비용이 크게 개선되며 외식업 및 병원 예약 창구 전면에 도입되고 있다.
일레븐랩스, 음성 에이전트에 클로드 소네트 4 연동
일레븐랩스가 자사 Conversational AI 플랫폼에 앤트로픽의 클로드 소네트 4를 연동했다. 복잡한 지시 수행과 장기 맥락 유지, 외부 도구 호출 능력을 실시간 음성에 필요한 초저지연 환경에서 제공한다. 개발자는 대시보드에서 모델을 선택해 코드 한 줄로 배포할 수 있다.
일레븐랩스 대화형 AI, 음성·텍스트 동시 지원 추가: 이메일 오인식 줄인다
ElevenLabs가 대화형 AI 플랫폼에 텍스트와 음성을 동시에 처리하는 멀티모달 기능을 도입했다. 사용자는 음성으로 대화하다가 이메일 주소나 카드 번호처럼 인식 오류가 잦은 정보는 텍스트로 직접 입력할 수 있어 작업 완료율을 높였다.
일레븐랩스, 대화형 AI 대량 발신 기능 출시: 수백 통 동시 통화 지원
일레븐랩스가 Conversational AI 플랫폼에 '배치 콜링' 기능을 선보였다. 트윌리오나 SIP 트렁킹을 연결해 AI 음성 에이전트가 수백 건의 전화를 동시에 걸 수 있다. CSV 업로드와 개인화 변수 삽입, 실시간 모니터링 및 API 연동을 지원한다.
일레븐랩스, AI 음향 패드 'SB-1' 출시: 텍스트로 원하는 효과음 즉시 생성
일레븐랩스가 자체 SFX API 기반 사운드보드 'SB-1 Infinite Soundboard'를 선보였다. 몇 단어의 텍스트 설명만으로 맞춤 효과음을 즉시 생성할 수 있으며, 다중 동시 재생 및 루프 기능을 지원한다. 프리셋 저장이 가능해 스트리머와 디스코드 이용자에게 유용하다.
일레븐랩스 대화형 AI, 전문 에이전트 간 통화 전달 기능 추가
일레븐랩스는 Conversational AI에 에이전트 간 매끄러운 통화 전환 기능을 도입했다고 밝혔습니다. 기업 내 여러 팀이 각자의 지식 베이스와 도구를 갖춘 전문 에이전트를 개별적으로 개발해 연동할 수 있게 되면서, 복잡한 음성 업무 흐름을 유연하게 처리할 수 있게 됐습니다.
일레븐랩스 MCP 서버 공개: 클로드·커서에서 음성 직접 생성
일레븐랩스가 클로드 데스크톱, 커서 등과 연결되는 공식 MCP 서버를 공개했다. 개발 환경이나 챗봇 창 안에서 바로 음성 합성, 음성 복제, 텍스트 변환을 실행할 수 있으며, 로컬 설치가 필요 없는 호스팅 서버도 함께 지원한다.
일레븐랩스, 내 목소리로 AI 연기를 지도하는 '액터 모드' 공개
일레븐랩스가 스튜디오의 모든 사용자를 대상으로 '액터 모드'를 출시했다. 사용자가 자신의 목소리로 AI 음성의 억양과 대사 전달 방식을 직접 지도할 수 있어, 보다 정밀한 음성 연출이 가능해졌다.
일레븐랩스, 음성-텍스트 변환 가격 45% 인하 및 Scribe 무료 제공
일레븐랩스는 자사 음성 인식 모델 'Scribe'의 대규모 사용 단가를 45% 인하하고 4월 9일까지 웹 UI에서 무료로 제공한다고 발표했다. 99개 언어를 지원하며, 대규모 음성-텍스트 변환 작업의 비용 부담이 크게 줄어들 전망이다.
일레븐랩스, 구글 클라우드와 맞손…엔터프라이즈 음성 AI 마켓플레이스 출시
일레븐랩스는 구글 클라우드와의 파트너십을 통해 음성 AI 모델을 구글 클라우드 마켓플레이스에 출시했다고 발표했다. 기업 고객은 제미나이 2.0 플래시와 결합해 복잡한 조달 과정 없이 저지연 대화형 AI 에이전트와 다국어 더빙 솔루션을 클라우드 인프라에 배포할 수 있다.
도이치텔레콤, 일레븐랩스와 제휴…마젠타 AI로 기사 팟캐스트 변환
도이치텔레콤이 음성 AI 스타트업 일레븐랩스와 전략적 파트너십을 체결했다. 마젠타 AI 앱에 'Gen FM' 기술을 적용해 뉴스 기사를 몇 초 만에 몰입감 있는 팟캐스트로 바꿔준다. 도이치텔레콤은 일레븐랩스의 시리즈 C 투자에도 참여해 음성 AI 협력을 확대한다.
일레븐랩스, 대화형 AI 플랫폼에 클로드 3.7 소네트 연동
일레븐랩스가 대화형 AI 플랫폼에 앤트로픽의 '클로드 3.7 소네트'를 추가했다. 복합 추론 성능과 자연스러운 음성 합성을 결합해 오류가 적고 긴 대화에서도 맥락을 잘 유지하는 음성 에이전트를 제작할 수 있다.
일레븐랩스, 음성인식 모델 'Scribe' 공개…99개 언어 지원 및 Whisper 능가
일레븐랩스가 첫 음성 텍스트 변환 모델 Scribe를 선보였다. 99개 언어를 지원하며 단어 단위 타임스탬프, 화자 분리, 웃음소리 등 음향 이벤트 태깅 기능을 갖췄고 벤치마크에서 Whisper Large V3를 앞섰다. 현재 API와 웹 대시보드에서 쓸 수 있으며 실시간 저지연 모델도 출시될 예정이다.
Hume AI, 문맥과 감정 읽어내는 음성 LLM 'Octave' 출시
Hume AI가 문맥을 이해하는 음성 거대언어모델 Octave를 공개했다. 단순 낭독을 넘어 텍스트 속 비꼼, 공포 등 감정과 캐릭터 특성을 파악해 억양과 어조를 조절한다. 블라인드 평가에서 음질과 자연스러움 모두 ElevenLabs를 앞섰다.