xAI, 음성 모델 '그록 보이스 3.0' 공개…지연시간 1초 미만에 스타링크 상담 70% 무인 처리
xAI가 음성 대 음성 모델 '그록 보이스 3.0'을 발표했다. 아티피셜 애널리시스 음성 벤치마크에서 86.9점으로 1위를 차지했으며 지연시간을 1초 미만으로 줄였다. 이미 테슬라 차량과 스타링크 고객센터에 투입돼 하루 2만 건의 문의 중 70%를 사람 없이 해결하고 있다. API 요금은 분당 0.08달러로 유지된다.
xAI가 음성 대 음성 모델 '그록 보이스 3.0'을 발표했다. 아티피셜 애널리시스 음성 벤치마크에서 86.9점으로 1위를 차지했으며 지연시간을 1초 미만으로 줄였다. 이미 테슬라 차량과 스타링크 고객센터에 투입돼 하루 2만 건의 문의 중 70%를 사람 없이 해결하고 있다. API 요금은 분당 0.08달러로 유지된다.
Fish Audio가 차세대 오픈소스 음성 모델 Drama 3을 공개했다. 35B 파라미터 MoE 기반으로 하나의 텍스트에서 최대 16명의 서로 다른 캐릭터 목소리를 구현할 수 있다. 한숨이나 웃음 같은 감정 태그는 물론, 전체를 다시 만들 필요 없이 틀린 단어만 자연스럽게 수정하는 편집 기능도 지원한다.
Cactus Compute가 단일 파일 크기 16.9MB의 온디바이스 음성인식 모델 Whistle을 공개했다. 외장 의존성 없이 순수 CPU만으로 구동되며 7개 언어 전사와 단어 단위 타임스탬프를 지원하고, 여러 벤치마크에서 145MB 크기의 Whisper base를 넘어섰다.
수노(Suno)가 텍스트 입력만으로 음성 낭독과 오리지널 음악을 하나의 트랙으로 동시 생성하는 오디오 모델 ‘Speech’ 베타를 전체 사용자에게 공개했다. 시나 이야기 글을 넣고 목소리와 음악 스타일을 묘사하면 완성된다. 음성 합성과 작곡 과정을 하나로 합쳤다.
구글이 시각장애인을 위해 실시간 음성 시각 보조 기능인 '가이디드 비전'을 Gemini Live에 출시했다. 전문 단체 Aira와 협력해 개발된 이 기능은 카메라 화면을 공유하면 주변 상황을 묘사하고 작은 글씨를 읽어주며, 구도가 맞지 않으면 카메라 각도를 조절하도록 직접 음성으로 안내한다.
마이크로소프트가 MAI-Voice-2.1과 Flash 모델을 공개했다. 추가 학습 없이 즉각 목소리를 복제하며 23개 언어와 세밀한 감정 조절을 지원한다. 특히 Flash 버전은 추론 지연 시간을 45ms로 줄여 실시간 음성 상담원의 대기 시간을 대폭 없앴다.
AI 스타트업 타버스(Tavus)가 실시간 영상 대화 모델 '그리핀(Griffin)'을 발표했다. 시각과 음성을 동시 처리하는 전이중 방식을 통해 대화 중 자연스럽게 고개를 끄덕이거나 끼어들 수 있으며, 통화 테스트에서 48%가 실제 사람으로 착각했다. 현재 일부 초기 테스터에게 프리뷰로 제공된다.
인셉션 랩스가 음성 에이전트 전용 확산 LLM '머큐리 보이스'를 기업 고객 대상으로 정식 출시했다. 첫 번째 응답 토큰 생성까지 중앙값 320ms로 GPT-6 루나보다 5.9배 빠르며, 128K 컨텍스트를 지원하고 OpenAI 호환 API로 기존 음성 파이프라인에 즉시 연동할 수 있다.
일레븐랩스가 표현력을 높인 음성 합성 모델 'Eleven v4'와 'Eleven v4 Turbo'를 출시했다. 텍스트 내 태그로 감정과 효과음을 정밀하게 조절할 수 있고 10초 분량 오디오로 음성을 복제한다. 90개 이상 언어를 지원하며 약 100ms의 추론 지연 시간으로 실시간 대화 에이전트에 최적화했다.
Fermion Research가 영어 음성인식 모델 Phonon-2를 오픈소스로 공개했다. 다운로드 크기가 164MB에 불과하지만 5.21%의 단어 오류율을 기록했으며, M5 맥북 에어에서 1시간 분량 오디오를 20초 만에 로컬에서 텍스트로 변환한다.
일레븐랩스가 대학생 대상의 'ElevenLabs for Students'를 발표했다. 미국, 캐나다, 영국, 호주 및 EU 27개국의 만 18세 이상 대학생에게 ElevenCreative, ElevenAgents, API 3개월 무료 이용권과 ElevenReader Ultra 1년 이용권을 제공한다. 학생들의 연구 및 프로젝트 개발을 돕기 위한 조치로, 향후 지원 대상 국가를 확대할 계획이다.
구글이 제미나이 엔터프라이즈에 실시간 영상 생성과 음성을 결합한 'Gemini 3.8 Live with Live Avatar'를 출시했다. 보고 듣고 말하는 가상 페르소나를 구현하며 97개 언어에 맞춘 자연스러운 표정과 립싱크를 지원한다. 대화를 끊지 않고 백그라운드에서 데이터를 가져오는 비동기 툴 호출도 가능하다.
오픈AI가 ChatGPT 보이스의 대규모 업데이트를 전 세계에 배포하기 시작했다. 이메일, 캘린더, 슬랙 플러그인 연동을 지원하고 GPT-6 모델로 구동된다. 또한 ChatGPT 워크와 연동되어 음성 명령만으로 문서, 프레젠테이션 자료, 스프레드시트를 손쉽게 제작할 수 있다.
기존 팟캐스트 영상을 대화형 미디어로 전환하는 연구 데모 'ACTx486'이 공개됐다. 시청자가 영상을 터치해 질문을 던지거나 언어를 바꾸면 출연진이 맥락에 맞춰 답변한 뒤 본래 영상으로 매끄럽게 복귀한다. 현재는 1회 상호작용 생성에 수분이 걸려 사전 렌더링된 상태이며, 향후 응답 시간을 6초 이내로 줄이는 것이 목표다.
구글이 100개 이상의 언어를 지원하는 음성 합성 모델 '제미나이 3.8 Flash TTS'와 'Flash-Lite TTS'를 공개했다. 자연어 프롬프트만으로 새로운 음성 캐릭터를 만들거나 30초 분량의 음성 샘플로 목소리를 복제할 수 있으며, 대본의 줄 단위로 감정과 추임새를 연출할 수 있다. Gemini API와 Google AI Studio에서 즉시 사용할 수 있다.
유튜브가 메이드 온 유튜브 행사에서 유튜브 뮤직의 신기능을 공개했다. 대화하듯 음악을 찾고 대기열을 제어하는 ‘에스크 뮤직’과 매주 추천 프로그램을 음성으로 요약해 주는 AI 팟캐스트 가이드가 전 세계 구독자에게 곧 제공될 예정이다.
일레븐랩스가 AI 영상 편집기 '스튜디오 4.0'을 공개했다. 영상, 이미지, 32개 이상 언어의 1만 개가 넘는 음성, 음악 및 효과음 생성을 단일 타임라인에 직접 통합했다. 프레임 단위로 영상을 분석해 초안 편집과 오디오 동기화를 돕는 '스튜디오 에이전트'도 함께 지원한다.
일레븐랩스가 팟캐스트와 영상 창작자를 위한 오디오 편집기 '스튜디오 4.0'을 공개했다. 1만 개 이상의 AI 음성과 배경음악, 음향 효과 생성을 지원하며, 대본을 수정하면 재녹음 없이 음성을 다시 생성해 준다. 또한 아이디어를 바탕으로 대본 작성과 클립 배치를 돕는 '스튜디오 에이전트'도 탑재됐다.
Edge0이 중·영 이중 언어를 지원하는 스트리밍 음성인식 모델 Audio8-ASR-Infinite를 공개했다. 전사 지연 시간을 240~560ms 수준으로 낮추고 롤링 KV 캐시 기술을 통해 24시간 연속 구동 시에도 메모리와 연산 지연을 일정하게 유지한다.
알리바바가 차세대 실시간 동시통역 모델 'Qwen3.8-LiveTranslate'를 공개했다. 60개 언어를 지원하며 글자당 지연시간을 2.3초로 단축했다. 화자 분리와 원본 음색 복제 기능을 탑재해 발화자의 목소리로 번역을 출력하며, 현재 API와 온라인 데모가 열려 있다.