일레븐랩스, 타임라인 편집기에 AI 협업 도구 '스튜디오 에이전트' 탑재
일레븐랩스는 ElevenCreative 플랫폼의 타임라인 편집기인 Studio에 AI 공동 편집 도구 'Studio Agent'를 추가했다. 창작자와 마케터는 외부 툴로 이동할 필요 없이 한 타임라인에서 AI와 협업하며 음성, 음악, 음향 효과, 영상을 손쉽게 믹싱할 수 있다.
일레븐랩스는 ElevenCreative 플랫폼의 타임라인 편집기인 Studio에 AI 공동 편집 도구 'Studio Agent'를 추가했다. 창작자와 마케터는 외부 툴로 이동할 필요 없이 한 타임라인에서 AI와 협업하며 음성, 음악, 음향 효과, 영상을 손쉽게 믹싱할 수 있다.
스포티파이가 AI 에이전트를 통해 생성한 개인 오디오를 보관함에 바로 저장할 수 있는 베타 도구 'Save to Spotify'를 공개했다. 사용자는 클로드 코드, OpenClaw 등의 에이전트로 일정 브리핑이나 수업 요약본을 개인 팟캐스트로 제작해 모든 기기에서 들을 수 있다. 글로벌 무료 및 프리미엄 사용자에게 제공된다.
2026-05-07 OpenAI는 Realtime API에 GPT-Realtime-2를 포함한 3종의 음성 모델을 선보였습니다. 실시간 대화 중 추론과 도구 병렬 호출이 가능하며 문맥 창이 128K로 늘어났습니다. 70개 이상 언어의 동시통역과 저지연 스트리밍 음성 인식도 함께 지원됩니다.
구글이 '구글 빌트인' 탑재 차량의 음성 비서를 구글 어시스턴트에서 제미나이로 교체한다고 밝혔다. 소프트웨어 업데이트를 통해 기존 차량에도 적용되며, 자연어 대화뿐 아니라 제조사 매뉴얼을 기반으로 차량별 맞춤 질문에 답한다. 미국 영어 사용자부터 순차 적용된다.
구글이 구글 번역 출시 20주년을 맞아 AI 기반의 '발음 연습' 기능을 선보였다. AI가 사용자의 음성을 실시간 분석해 발음 교정을 돕는 기능으로, 이용자들의 요청이 많았던 기능이다. 현재 미국과 인도에서 영어, 스페인어, 힌디어를 대상으로 지원되며 점차 확대될 예정이다.
마이크로소프트는 코파일럿 스튜디오에서 실시간 음성 에이전트를 정식 출시했다. 기존 ARS와 달리 자연스러운 대화와 끼어들기를 지원하며 상담원 전환 시 맥락도 유지된다. 다이내믹스 365 고객센터와 영업 부문에도 업무 자동화를 돕는 에이전트가 대거 도입됐다.
푸단대 연구진이 텍스트 기반 실시간 오디오-비디오 아바타 생성 프레임워크 Hallo-Live를 발표했다. 엔비디아 H200 GPU 2대 환경에서 20.38 FPS의 속도와 0.94초 지연 시간을 기록하며, 상호작용형 디지털 휴먼의 싱크 불일치와 지연 문제를 크게 개선했다.
Scenema AI가 LTX 2.3에서 추출한 음성 확산 모델 'Scenema Audio'를 오픈소스로 공개했습니다. 음성 고유의 정체성과 감정 연기를 분리해, 몇 초의 참조 오디오만으로도 지문(Stage Direction)을 통해 흥분, 억양, 대사 도중의 감정 변화를 유도합니다. 양자화 모델은 16GB VRAM 환경에서 로컬 실행을 지원합니다.
Grok Imagine이 이미지 기반 비디오 생성 기능을 업데이트해 립싱크 정확도와 음질을 대폭 개선했다. 대사가 입 모양에 정교하게 맞춰지고 장면 분위기에 어울리는 사운드가 결합되어 더욱 자연스러운 영상을 제작할 수 있다.
xAI가 플래그십 음성 에이전트 모델 Grok Voice 1.0을 API로 출시했다. 25개 이상의 언어를 지원하며 지연 시간 없이 백그라운드 추론과 도구 호출을 수행해 주소나 계정 등 복잡한 정보를 수집한다. 현재 스타링크 전화 고객센터에 적용되었다.
구글이 제미나이 포 홈에 '연속 대화' 기능을 추가했다. '헤이 구글'로 한 번 깨운 뒤 마이크가 몇 초간 켜져 있어 호출어를 반복하지 않고 후속 질문을 던질 수 있다. 대화 맥락 기억, 잡담 감지 개선을 통한 오작동 방지, 방문객을 포함한 전원 지원이 특징이다.
외신에 따르면 데어리퀸이 미국과 캐나다의 수십 개 드라이브스루 매장에 프레스토의 AI 음성 챗봇을 도입한다. 주문 정확도는 약 90% 수준으로, 대기 시간을 줄이고 추가 주문을 유도하는 목적이다. 다만 과거 해당 AI 뒤에 원격 인력의 보조가 있었다는 점은 여전히 논란거리다.
구글이 차세대 음성 합성 모델 '제미나이 3.1 플래시 TTS'를 선보였다. 텍스트 내 자연어 오디오 태그를 통해 어조, 속도, 전달 방식을 정밀하게 제어할 수 있으며, 70개 이상의 언어와 다자간 대화를 지원하고 SynthID 워터마크가 기본 적용된다.
월요일, 구글이 iOS용 오프라인 AI 음성 전사 앱 '구글 AI 엣지 엘로퀀트'를 출시했다. 기기 내 젬마 모델을 통해 실시간으로 음성을 텍스트로 바꾸며, '음', '어' 같은 군말을 자동 삭제하고 개조식이나 격식체로 다듬어 준다. 제미나이 기반 클라우드 정제 모드도 선택 지원한다.
스포티파이가 자연어 프롬프트로 목록을 만드는 'Prompted Playlist' 기능을 팟캐스트까지 확대했다. 미국·영국 등 6개국 프리미엄 이용자는 영어 프롬프트로 맞춤 팟캐스트 목록을 생성할 수 있으며, 추천 이유 메모와 자동 업데이트 주기 설정도 지원된다.
마이크로소프트는 다국어 음성-텍스트 변환 모델 'MAI-Transcribe-1'을 공개하고 Microsoft Foundry에서 퍼블릭 프리뷰를 시작했다. 25개 언어를 지원하며 FLEURS 벤치마크에서 위스퍼 라지 V3를 제치고 최저 오류율을 기록했다. 배치 처리 속도는 2.5배 빠르고 오디오 1시간당 0.36달러에 제공되며, Teams와 Copilot에도 적용된다.
명령어 한 줄로 헤드라인을 유튜브 쇼츠 영상으로 만들어 게시까지 해주는 오픈소스 도구 'YouTube Shorts Pipeline'이 공개됐다. 클로드, 제미나이, 일레븐랩스, 위스퍼를 연동해 편당 3~5분, 약 0.10달러의 비용으로 작동하며 전 과정이 로컬에서 실행된다.
600개 이상의 언어를 지원하는 제로샷 TTS 모델 OmniVoice가 오픈소스로 공개됐다. 몇 초 분량의 샘플만으로 음색과 감정을 복제해 다른 언어로 발화시키거나 텍스트 설명으로 새 음성을 만들어낸다. 복잡한 음향 파이프라인을 단순화한 모델로 코드와 가중치가 모두 무료 제공된다.
OpenAI는 iOS 26.4 출시에 맞춰 애플 카플레이(CarPlay) 전용 ChatGPT 인터페이스를 공개했다. 운전 안전을 고려해 텍스트 표시 없이 전적으로 음성 대화로만 작동하며, 화면에는 통화 종료와 음소거 버튼만 표시된다. 주요 AI 앱 중 최초의 전용 카플레이 지원으로, iOS 26.4 업데이트가 필요하다.
음성 합성 및 클로닝 모델 LongCat Audio Edit이 공개됐다. 몇 초 분량의 샘플만으로 음색과 어조를 정교하게 복제하며, 35억 파라미터 고품질 버전과 일반 GPU에서 구동 가능한 약 6GB 경량 버전으로 제공된다.