일레븐랩스, 사이언스캐스트와 맞손: arXiv 논문을 나레이션 영상으로 요약
ElevenLabs가 과학 영상 플랫폼 ScienceCast 및 arXiv와의 협업을 발표했다. ScienceCast의 영상 자동 생성 도구에 ElevenLabs의 AI 음성 기술을 접목해, arXiv에 올라온 논문을 3~5분 분량의 나레이션 요약 영상으로 손쉽게 변환해 준다.
ElevenLabs가 과학 영상 플랫폼 ScienceCast 및 arXiv와의 협업을 발표했다. ScienceCast의 영상 자동 생성 도구에 ElevenLabs의 AI 음성 기술을 접목해, arXiv에 올라온 논문을 3~5분 분량의 나레이션 요약 영상으로 손쉽게 변환해 준다.
테이크투가 'GTA 5'에서 생성형 AI로 NPC와 음성 대화를 나누게 해주는 모드 'Sentient Streets'에 DMCA 삭제를 요청해 배포를 중단시켰다. 인월드 AI와 일레븐랩스를 결합해 30명 이상의 NPC와 대화할 수 있던 프로젝트였으나, 제작자는 사전 통보 없이 갑작스럽게 차단당했다고 토로했다.
일레븐랩스는 인월드와의 파트너십을 발표하고 인월드의 AI NPC 플랫폼에 자사 음성 합성 기술을 통합했다고 밝혔다. 게임 개발자는 상황과 플레이어와의 상호작용에 실시간으로 적응하는 사실적인 음성을 캐릭터에 부여해 몰입감을 크게 끌어올릴 수 있다.
D-ID와 일레븐랩스가 파트너십을 맺고, D-ID의 영상 제작 플랫폼 '크리에이티브 리얼리티 스튜디오'에 고품질 AI 음성을 도입했다. Pro 구독자는 한 번의 클릭으로 9가지 프리미엄 음성과 4가지 감정 표정을 아바타에 적용해 한층 자연스러운 영상을 제작할 수 있다.
일레븐랩스가 다양한 AI 음성을 공유하고 탐색할 수 있는 '보이스 라이브러리'를 선보였습니다. 크리에이터는 텍스트 프롬프트로 음성을 디자인하거나 직접 클로닝할 수 있으며, 방대한 음성 풀에서 오디오북이나 영상에 맞는 목소리를 골라 쓸 수 있습니다.
일레븐랩스가 자사 기술로 생성된 음성을 판별하는 'AI Speech Classifier'를 공개했다. 로그인 없이 음성이나 영상 파일을 업로드하면 첫 1분 분량을 분석해 자사 AI 생성 확률과 유사한 음색을 찾아준다. 다만 Eleven v3 모델로 생성된 음성 판별은 아직 불안정하다.
일레븐랩스가 음성 합성 모델 Eleven Multilingual v1을 출시했습니다. 프랑스어, 독일어, 힌디어, 스페인어 등 7개 신규 언어를 지원하며, 언어가 바뀌어도 화자 고유의 음색과 억양을 유지합니다. 기존 음성 복제 기능과도 연동되나, 비영어 텍스트의 숫자나 약어가 영어식으로 발음되는 한계는 남아 있습니다.
AI 음성 스타트업 일레븐랩스는 베타 서비스에서 음성 복제 오남용이 급증하자 안전 조치를 강화하겠다고 밝혔다. 4chan에서 유명인 음성을 합성한 혐오 발언이 확산된 데 따른 조치로, 결제 정보 등록이나 신분증 인증, 수동 검토 도입을 고려 중이다.
일레븐랩스가 완전히 새로운 가상 음성을 생성할 수 있는 음성 디자인 기능을 공개했다. 성별, 연령, 악센트 등 파라미터를 설정하면 세상에 없던 고유한 목소리를 생성할 수 있으며, 이 기능은 2월 Voice Lab에 도입될 예정이다.