메타, 100개 언어 음성·텍스트 번역 올인원 AI 'SeamlessM4T' 공개
메타가 음성과 텍스트를 아우르는 다국어 다중모달 번역 AI 모델 'SeamlessM4T'를 발표했다. 약 100개 언어의 음성 인식과 텍스트 번역, 36개 언어의 음성 대 음성 번역을 단일 모델로 지원한다. 메타는 연구용 라이선스로 모델을 공개하고 27만 시간 분량의 정렬 데이터셋 메타데이터도 함께 배포했다.
AI 음성
최신 소식 보기
MS·에픽, 의료 전자의무기록에 생성형 AI 대대적 통합
마이크로소프트와 전자의무기록(EHR) 선도 기업 에픽(Epic)이 파트너십을 확대하고 생성형 AI를 진료 현장에 대거 도입한다고 발표했다. Azure OpenAI와 뉘앙스 DAX Express를 결합해 진료 기록 요약, 음성 기반 임상 문서 자동 생성, 의료 코딩을 지원하며 의료진의 업무 부담을 줄이는 데 집중한다.
일레븐랩스, 베타 종료...28개 언어 지원 '멀티링구얼 v2' 출시
음성 AI 플랫폼 일레븐랩스가 베타 테스트를 마치고 28개 언어를 지원하는 음성 모델 '일레븐 멀티링구얼 v2'를 공개했다. 텍스트 언어를 자동으로 인식하며, 화자 고유의 음색과 억양을 유지한 채 다양한 언어로 감정이 담긴 음성을 생성할 수 있다.
일레븐랩스, 사이언스캐스트와 맞손: arXiv 논문을 나레이션 영상으로 요약
ElevenLabs가 과학 영상 플랫폼 ScienceCast 및 arXiv와의 협업을 발표했다. ScienceCast의 영상 자동 생성 도구에 ElevenLabs의 AI 음성 기술을 접목해, arXiv에 올라온 논문을 3~5분 분량의 나레이션 요약 영상으로 손쉽게 변환해 준다.
테이크투, GTA 5 생성형 AI 모드 저작권 침해로 전격 차단
테이크투가 'GTA 5'에서 생성형 AI로 NPC와 음성 대화를 나누게 해주는 모드 'Sentient Streets'에 DMCA 삭제를 요청해 배포를 중단시켰다. 인월드 AI와 일레븐랩스를 결합해 30명 이상의 NPC와 대화할 수 있던 프로젝트였으나, 제작자는 사전 통보 없이 갑작스럽게 차단당했다고 토로했다.
일레븐랩스, 인월드와 맞손…게임 AI NPC에 실시간 맞춤형 음성 지원
일레븐랩스는 인월드와의 파트너십을 발표하고 인월드의 AI NPC 플랫폼에 자사 음성 합성 기술을 통합했다고 밝혔다. 게임 개발자는 상황과 플레이어와의 상호작용에 실시간으로 적응하는 사실적인 음성을 캐릭터에 부여해 몰입감을 크게 끌어올릴 수 있다.
D-ID, 일레븐랩스와 파트너십…AI 아바타 영상에 고품질 음성 탑재
D-ID와 일레븐랩스가 파트너십을 맺고, D-ID의 영상 제작 플랫폼 '크리에이티브 리얼리티 스튜디오'에 고품질 AI 음성을 도입했다. Pro 구독자는 한 번의 클릭으로 9가지 프리미엄 음성과 4가지 감정 표정을 아바타에 적용해 한층 자연스러운 영상을 제작할 수 있다.
오픈AI, 'GPT-5' 상표 출원… 음성 인식부터 텍스트 생성까지 망라
오픈AI가 미국 특허상표청(USPTO)에 'GPT-5' 상표 등록을 출원한 것으로 나타났다. 출원 범위는 자연어 처리와 음성 인식, 텍스트 생성, 인공 신경망 구현 등을 포함한다. 다만 샘 알트만 CEO가 안전 감사 등 거쳐야 할 작업이 많다고 밝힌 만큼, 차세대 모델이 당장 공개되는 것은 아니다.
뉴스 앱 아티팩트, AI 음성 낭독 기능 추가…스눕독 목소리로 듣는다
뉴스 앱 아티팩트가 스피치파이와 손잡고 기사를 읽어주는 AI 텍스트 음성 변환 기능을 도입했다. 스눕독과 기네스 팰트로 등 유명 인사를 포함한 30여 개 영어 음성을 지원하며, 최대 4.5배속 재생과 백그라운드 재생이 가능하다. 현재 iOS에서 이용할 수 있으며 안드로이드 버전도 곧 출시될 예정이다.
메타, 인도 정부 기관과 파트너십 체결: 라마 기반 현지어 AI 생태계 구축
메타는 인도 전자정보기술부 산하 '인디아 AI'와 업무협약을 체결했다고 밝혔다. 메타의 라마 등 오픈소스 AI 모델을 현지 연구진과 스타트업에 제공하고, 인도 내 다양한 소수 언어 데이터셋 구축 및 AI 창업 생태계 지원을 위해 협력할 계획이다.
스포티파이, AI 팟캐스트 요약 및 맞춤형 오디오 광고 도입 예고
스포티파이 CEO 다니엘 엑은 2분기 실적 발표에서 생성형 AI를 활용한 팟캐스트 요약과 오디오 광고 자동 생성 기능을 검토 중이라고 밝혔습니다. 광고주가 저비용으로 수천 개의 오디오 광고를 제작·테스트할 수 있게 돕겠다는 구상입니다. 최근에는 분노, 속삭임 등 감정을 표현하는 음성 합성 특허도 공개됐습니다.
트위치에서 끝없이 말다툼하는 AI 트럼프와 AI 바이든의 무한 토론
트위치에 AI 트럼프와 AI 바이든이 24시간 토론을 펼치는 'trumporbiden2024' 방송이 등장했다. 목소리와 제스처를 모사한 두 AI 봇은 황당무계한 설전을 벌이고 시청자를 조롱하며 10만 명 이상의 시청자를 끌어모았다.
스팸 전화 역공：ChatGPT 챗봇으로 사기꾼 시간 뺏는 유료 서비스 등장
캘리포니아의 한 개발자가 ChatGPT와 음성 복제 기술을 활용해 스팸·사기 전화를 응대하고 시간을 끌어주는 Jolly Roger 서비스를 연 25달러에 선보였다. 수다쟁이 노인 등 다양한 페르소나로 사기꾼을 최대 15분간 붙잡아 두며, 통화 연결을 유지해 금전적·시간적 손실을 입힌다.
일레븐랩스, AI 음성 탐색 공간 '보이스 라이브러리' 출시
일레븐랩스가 다양한 AI 음성을 공유하고 탐색할 수 있는 '보이스 라이브러리'를 선보였습니다. 크리에이터는 텍스트 프롬프트로 음성을 디자인하거나 직접 클로닝할 수 있으며, 방대한 음성 풀에서 오디오북이나 영상에 맞는 목소리를 골라 쓸 수 있습니다.
유튜브, AI 다국어 더빙 도입…영상 번역부터 음성 합성까지
유튜브가 VidCon에서 구글의 사내 벤처 조직 Area 120 출신 AI 더빙 서비스 'Aloud' 팀을 흡수한다고 밝혔다. 영상 스크립트 추출, 번역, 더빙 오디오 생성을 지원하며 현재 수백 명의 크리에이터를 대상으로 영어, 스페인어, 포르투갈어 테스트를 진행 중이다. 2024년에는 음성 복제와 립싱크도 추가될 예정이다.
윔블던, IBM과 손잡고 하이라이트 영상에 AI 음성 해설 도입
올잉글랜드 클럽은 IBM과 협력해 올해 윔블던 대회 하이라이트 영상에 AI 음성 해설과 자막을 도입한다고 밝혔다. IBM watsonx 플랫폼을 바탕으로 코트 추적 데이터를 분석해 테니스 특유의 해설을 실시간으로 생성하며, 공식 앱과 웹사이트에서 제공된다.
메타, 음성 생성 AI '보이스박스' 공개…2초 샘플로 목소리 복제
메타가 음성 생성 AI 모델 '보이스박스'를 공개했다. 2초짜리 오디오 샘플만으로 음색을 모사해 텍스트를 읽어주며, 6개 언어 지원과 함께 잡음이 섞인 음성 구간을 지우개처럼 잘라내 다시 채워 넣는 편집 기능도 제공한다.
일레븐랩스, AI 음성 감별 도구 출시: 자사 기술 위조 여부 즉시 판별
일레븐랩스가 자사 기술로 생성된 음성을 판별하는 'AI Speech Classifier'를 공개했다. 로그인 없이 음성이나 영상 파일을 업로드하면 첫 1분 분량을 분석해 자사 AI 생성 확률과 유사한 음색을 찾아준다. 다만 Eleven v3 모델로 생성된 음성 판별은 아직 불안정하다.
메르세데스-벤츠, MBUX 음성 어시스턴트에 챗GPT 탑재
메르세데스-벤츠가 마이크로소프트 애저 오픈AI 서비스를 통해 MBUX 인포테인먼트 시스템에 챗GPT를 통합하는 베타 프로그램을 미국에서 시작했다. 단순 차량 제어를 넘어 목적지 정보나 일상 대화까지 자연스럽게 처리하며, 음성 데이터는 익명화되어 보호된다.
마이크로소프트, 빙 챗에 음성 대화 기능 추가…대화 한도도 30회로 확대
마이크로소프트가 빙 챗에 음성 입력과 음성 답변 기능을 도입했다. 이용자는 마이크 아이콘을 눌러 음성으로 질문하고 AI의 음성 답변을 들을 수 있으며 영어, 중국어(표준어), 프랑스어, 독일어를 지원한다. 아울러 대화 턴 제한도 세션당 30회, 일일 300회로 확대했다.