일레븐랩스, AI 음성으로 글 읽어주는 '리더 앱' 출시
일레븐랩스가 모바일용 '리더 앱(Reader App)'을 공개했다. 기사나 PDF, ePub 문서를 자연스러운 AI 음성으로 변환해 들려준다. 첫 3개월간 무료로 쓸 수 있으며, 현재는 영어만 지원하지만 곧 29개 언어로 확장될 예정이다.
일레븐랩스가 모바일용 '리더 앱(Reader App)'을 공개했다. 기사나 PDF, ePub 문서를 자연스러운 AI 음성으로 변환해 들려준다. 첫 3개월간 무료로 쓸 수 있으며, 현재는 영어만 지원하지만 곧 29개 언어로 확장될 예정이다.
일레븐랩스가 텍스트 프롬프트만으로 효과음, 짧은 연주곡, 환경음을 만드는 AI 오디오 모델을 모든 사용자에게 공개했다. 셔터스톡의 정식 라이선스 음원 데이터로 파인튜닝했다. 영상이나 게임 제작자가 스톡 사이트를 뒤지지 않고도 필요한 소리를 바로 뽑아낼 수 있다.
글로벌 출판사 하퍼콜린스가 음성 AI 기업 일레븐랩스와 협력해 비영어권 시장의 장기 재고 도서를 오디오북으로 제작한다. 비용 문제로 제작되지 못했던 비인기 구작들을 스튜디오 도구를 통해 저비용으로 오디오화하겠다는 계획이다. 주력 신작 도서에는 여전히 전문 성우를 기용하며, AI는 보완 수단으로 제한 적용된다.
일레븐랩스는 래빗과 협력해 휴대용 AI 기기 r1에 초고음질·저지연 음성 모델을 탑재한다고 발표했다. 사용자는 버튼을 누르고 말하는 것만으로 차량 호출이나 음식 주문 등 복잡한 작업을 음성으로 실행할 수 있다. 실제 사람에 가까운 자연스러운 목소리로 AI 하드웨어의 대화 몰입도를 대폭 끌어올렸다.
AI 영상 플랫폼 Pika가 일레븐랩스와 협력해 'Lip Sync' 기능을 출시했다. 텍스트 입력이나 오디오 업로드로 대사를 생성하면 캐릭터의 입모양이 음성에 맞춰 움직인다. 현재는 Pika Pro 구독자 및 초대받은 테스터에게만 조기 접근 권한이 제공된다.
일레븐랩스는 퍼플렉시티와의 협업으로 제작된 숏폼 데일리 팟캐스트 '디스커버 데일리'를 공개했다. 퍼플렉시티 검색 엔진이 큐레이션한 혁신·과학·문화 뉴스를 일레븐랩스의 합성 음성으로 전달하며, 주요 팟캐스트 플랫폼에서 바로 청취할 수 있다.
2월 22일, 음성 생성 AI 스타트업 일레븐랩스가 '2024 디즈니 액셀러레이터' 프로그램에 선정되었다고 발표했다. 일레븐랩스는 디즈니의 글로벌 크리에이티브 자원을 활용해 다국어 음성 소통 장벽을 낮추겠다는 계획이다. 생성형 음성 기술이 글로벌 엔터테인먼트 시장에 본격 진입할지 주목된다.
일레븐랩스가 새로운 'AI 효과음(AI Sound Effects)' 기능 출시를 예고했다. 사용자가 텍스트 프롬프트를 입력해 맞춤형 사운드 이펙트와 앰비언트 사운드를 즉시 생성할 수 있게 될 예정이다.
일레븐랩스는 2024년 글로벌 선거철을 맞아 음성 AI 오용을 막기 위한 안전 조치를 발표했다. 미국과 영국의 대선 및 총선 후보 목소리 복제를 차단하는 '금지 음성' 안전장치를 도입하고, 정치용 로보콜이나 사칭을 전면 금지하며 자사 생성 음성을 감지하는 AI 분류 도구도 계속 지원한다.
ElevenLabs가 'Voice Library'를 통해 음성 클론을 수익화할 수 있는 기능을 공개했다. 30분 분량의 오디오로 전문 음성 클론을 만들어 공유하면, 유료 구독자가 이를 사용할 때마다 현금 보상을 받게 된다. 본인 인증 절차와 일일 분석 기능도 함께 제공된다.
퍼플렉시티가 웹 개발 플랫폼 버셀과 손잡고 버셀 AI SDK에 실시간 검색 모델인 pplx-7b-online과 pplx-70b-online을 제공한다. 개발자는 지식 컷오프 제한 없이 최신 웹 정보를 반영하는 앱을 손쉽게 만들 수 있다. 버셀은 일레븐랩스 등과의 연동 및 AI 플레이그라운드도 함께 공개했다.
음성 AI 기업 일레븐랩스가 Andreessen Horowitz 등이 주도한 $80M 규모의 시리즈B 투자를 유치했다고 밝혔다. 이와 함께 장편 영상 번역을 지원하는 더빙 스튜디오와 사용자가 자신의 AI 복제 음성을 공유해 수익을 올릴 수 있는 보이스 라이브러리 마켓플레이스도 공개했다.
일요일 저녁, 파키스탄 테흐리크-에-인사프(PTI)당이 일레븐랩스의 AI 음성 복제 기술을 활용해 수감 중인 임란 칸 전 총리의 목소리로 4분 분량의 유세 영상을 공개했다. 옥중 메모를 기반으로 제작된 영상은 50만 회 이상 시청되었으며, 당국은 주요 SNS 접속을 차단했다.
일레븐랩스가 초기 스타트업을 지원하는 'ElevenLabs Grants'를 공개했다. 직원 25인 미만의 스타트업은 3개월간 매달 1,100만 자 분량의 AI 음성 및 더빙 기능을 무료로 쓸 수 있으며, 첫 번째 지원 규모는 총 1,000억 자 이상이다.
일레븐랩스가 가장 빠른 음성 생성 모델 '터보 v2'를 공개했다. 생성 지연시간을 약 400밀리초로 줄여 1세대 모델보다 두 배 이상 빠르며, 음질은 멀티링구얼 v2 수준을 유지한다. 인터넷 전화(VoIP)용 8kHz mulaw 출력도 지원한다.
ElevenLabs가 기업용 올인원 AI 음성 플랫폼을 공개했다. 고객 지원 봇을 구축하는 ElevenAgents와 고품질 음성 및 효과음을 생성하는 ElevenCreative로 나뉘며, 세일즈포스 및 젠데스크 등 기존 업무 도구와 즉시 연동해 대규모 확장이 가능하다.
일레븐랩스가 비디오 생성 플랫폼 픽토리 AI와의 파트너십을 발표했다. 픽토리 사용자는 텍스트나 블로그 글을 영상으로 변환할 때 일레븐랩스의 자연스러운 AI 음성을 내레이션으로 입힐 수 있으며, 우선 영어와 독일어 콘텐츠를 지원한다.
일레븐랩스가 'AI Dubbing' 기능을 공개했다. 화자의 고유한 음색과 감정, 억양을 유지한 채 음성 및 영상 콘텐츠를 20개 이상의 언어로 수 분 만에 번역·더빙한다. 다중 화자 분리와 배경 소음 제거 기술도 탑재됐다.
일레븐랩스는 오디오북 제작 도구 'Projects'를 선보였다. ePub 전자책을 업로드하면 등장인물을 자동으로 감지해 배역별 맞춤 목소리를 입혀주며, 90개 이상의 언어로 전문 스튜디오급 오디오북을 몇 분 만에 제작할 수 있다.
음성 AI 플랫폼 일레븐랩스가 베타 테스트를 마치고 28개 언어를 지원하는 음성 모델 '일레븐 멀티링구얼 v2'를 공개했다. 텍스트 언어를 자동으로 인식하며, 화자 고유의 음색과 억양을 유지한 채 다양한 언어로 감정이 담긴 음성을 생성할 수 있다.