Voicebox: 음성 복제와 받아쓰기를 로컬에서 처리하는 오픈소스 AI 도구
오픈소스 로컬 음성 앱 Voicebox가 깃허브 스타 4만 2천 개 이상을 기록하며 주목받고 있습니다. 몇 초 분량의 오디오로 음성을 복제하고 전역 단축키를 통해 어떤 입력창에서든 음성 입력을 지원하며, Claude Code 등과 연동해 에이전트에 음성을 입힐 수도 있습니다. 유료 구독 없이 로컬 환경에서 음성 파이프라인을 구축할 수 있습니다.
AI 음성
최신 소식 보기
마이크로소프트, 음성인식 모델 'VibeVoice-ASR' 공개… 60분 오디오 단일 처리
마이크로소프트가 9B 크기의 음성인식 모델 'VibeVoice-ASR'을 오픈소스로 공개했다. 오디오를 분할하지 않고 최대 60분 분량을 한 번에 처리하며 텍스트 변환, 화자 분리, 타임스탬프를 하나로 통합했다. 긴 오디오의 문맥 단절 문제를 해결하며 파인튜닝도 지원한다.
알리바바, 오픈소스 음성 모델 Qwen3-TTS 공개: 97ms 지연율로 실시간 음성 복제
알리바바가 오픈소스 음성 합성 모델 Qwen3-TTS를 공개했다. 단 몇 초의 오디오로 목소리를 복제하거나 프롬프트로 새로운 음성을 설계할 수 있으며, 듀얼 트랙 구조를 통해 97ms의 지연율을 달성해 다국어 및 방언 실시간 변환을 지원한다.
어도비 아크로뱃, PDF를 팟캐스트로 바꿔주는 AI 기능 공개
어도비가 아크로뱃 스튜디오에 생성형 AI 기능을 추가했다. 긴 PDF 문서나 회의록을 요약해 오디오 팟캐스트나 발표 슬라이드로 자동 생성해주며, 대화형 프롬프트로 페이지 삭제나 서명 등 직접 편집도 가능하다. 팟캐스트 기능에는 현재 MS와 구글의 AI 모델이 활용된다.
목 근육 떨림 읽어 말문 튼다: 뇌졸중 환자 돕는 웨어러블 ‘AI 목걸이’ 등장
연구진이 네이처 커뮤니케이션즈를 통해 공개한 목걸이형 웨어러블 AI 시스템은 뇌졸중 후 구음장애를 겪는 환자의 미세한 목 근육 진동과 맥박을 감지해 온전한 문장으로 복원한다. 거대언어모델(LLM)을 활용해 단어 오류율 4.2% 수준을 달성했으며, 침습적 뇌 이식 없이 대화를 돕지만 아직 소규모 검증 단계다.
어도비, Acrobat AI Assistant 출시: 긴 PDF를 팟캐스트와 발표 자료로 변환
어도비가 문서 작업을 돕는 'Acrobat AI Assistant'를 선보였다. 출처 링크가 포함된 정밀 요약은 물론, 문서를 팟캐스트 형식의 오디오 개요나 대화형 프레젠테이션으로 즉시 변환해 준다. 기존 Reader 및 Pro 구독자는 바로 사용해 볼 수 있으며, 사용자 문서는 AI 학습에 사용되지 않는다.
FlashLabs, 실시간 음성 대화 모델 'Chroma 1.0' 오픈소스 공개…음성 복제 지원
FlashLabs가 엔드투엔드 실시간 음성 대화 모델 Chroma 1.0을 아파치 2.0 라이선스로 오픈소스 공개했습니다. 텍스트 변환을 거치지 않고 음성 입력을 직접 이해해 실시간 음성과 텍스트 답변을 생성하며, 참조 음성을 활용한 맞춤형 음성 복제도 지원합니다. Qwen2.5-Omni와 Llama 3 기반이며 현재 영어만 지원합니다.
엔비디아, 실시간 음성 AI 'PersonaPlex' 공개: 듣기·말하기 동시 수행에 맞춤 페르소나까지
NVIDIA가 전이중 음성 대화 모델 PersonaPlex를 공개했다. 사용자의 말을 들으면서 동시에 말하고 자연스러운 끼어들기와 맞장구가 가능하다. 텍스트 설정과 음성 샘플만으로 목소리와 역할을 자유롭게 지정할 수 있어, 자연스러운 흐름과 커스텀 페르소나를 모두 잡았다.
큐타이 포켓 TTS: CPU에서 실시간 구동되는 1억 파라미터 음성 합성
큐타이가 GPU 없이 CPU만으로 구동되는 초경량 음성 합성 도구 '포켓 TTS'를 오픈소스로 공개했다. 1억 파라미터 크기로 M4 맥북 에어 2개 코어에서 6배 실시간 속도와 200ms 응답 지연을 제공하며, 음성 복제와 무제한 텍스트 입력을 지원한다.
애플, 구글과 맞손…차세대 시리에 제미나이 AI 전격 탑재
애플이 구글과 다년 파트너십을 맺고 차세대 시리와 자체 파운데이션 모델에 제미나이를 도입한다고 발표했다. 연간 라이선스 비용은 약 10억 달러로 알려졌다. 자체 AI 개발에 고전하던 애플이 핵심 두뇌를 최대 경쟁사에 맡긴 셈이며, 기존 ChatGPT와의 협력도 유지된다.
NovaSR: 단 52KB 용량으로 실시간보다 3500배 빠른 초경량 오디오 업샘플러
개발자 yatharthsharma3501이 초경량 오디오 업샘플링 모델 NovaSR을 오픈소스로 공개했다. 모델 크기가 약 52KB에 불과하며, 10개 미만의 Conv1D 계층 구조로 A100에서 실시간 대비 3600배 속도를 기록한다. 16kHz 음성을 48kHz 고음질로 복원해 온디바이스 기기나 TTS 실시간 품질 향상에 유용하다.
알리바바, 'Qwen3-TTS' 공개…3초 오디오 복제 및 프롬프트 음성 설계 지원
알리바바 Qwen 팀이 음성 모델군 'Qwen3-TTS'를 공개했다. 텍스트 프롬프트로 톤과 감정을 맞춤 설정하는 VoiceDesign과 3초 오디오만으로 10개 언어 음성을 복제하는 VoiceClone으로 구성됐다. 다국어 테스트에서 일레븐랩스 대비 단어 오류율을 15% 낮췄다.
콰이쇼우, '클링 2.6'에 음성 제어 및 동작 추적 대폭 강화
콰이쇼우가 영상 생성 AI 모델 '클링 2.6'에 맞춤형 음성 제어와 향상된 모션 컨트롤을 추가했다. 사용자가 오디오를 올려 목소리를 학습시키면 여러 장면에서 동일한 인물 목소리를 유지할 수 있으며, 무술이나 춤 같은 복잡한 동작에서도 손가락 뭉개짐과 립싱크 오류를 크게 줄였다.
xAI, ‘그록 음성 에이전트 API’ 출시… 1초 미만 응답에 분당 0.05달러
xAI가 개발자를 위한 'Grok Voice Agent API'를 공식 출시했다. 자체 음성 스택을 통해 1초 미만의 빠른 첫 음성 응답을 제공하며, 비용은 분당 0.05달러다. OpenAI Realtime API 규격과 호환되고, 테슬라 차량에서 검증된 도구 호출 기능과 다국어 실시간 전환을 그대로 지원한다.
아마존, 차세대 AI '알렉사+' 출시…웹 채팅 지원·프라임 회원 무료
아마존이 생성형 AI 기반의 새로운 음성 비서 '알렉사+(Alexa+)'를 선보였습니다. 대화 맥락 유지와 기기 간 연속 대화는 물론, 웹 브라우저(alexa.amazon.com)에서 텍스트로 채팅할 수 있는 기능도 지원합니다. 프라임 회원은 무료로 이용할 수 있으며, 일반 사용자도 웹과 앱에서 일일 제한 무료 버전을 체험할 수 있습니다. 현재 미국 내 영어 및 스페인어로 우선 제공됩니다.
구글, 제미나이 네이티브 오디오 업그레이드…구글 번역에 실시간 동시통역 추가
구글이 실시간 음성 에이전트용 'Gemini 2.5 Flash Native Audio' 모델 업데이트를 공개했다. 함수 호출과 다중 턴 대화 능력이 크게 개선되었으며, 구글 번역 앱에는 말하는 사람의 억양과 호흡을 유지한 채 이어폰으로 듣는 실시간 동시통역 베타 기능이 도입됐다.
픽사 조명이 현실로…인터랙션 랩스, 데스크 로봇 'Ongo' 공개
인터랙션 랩스가 픽사 스탠드를 닮은 탁상용 반려 로봇 'Ongo'를 공개하고 초기 100대 사전 예약을 시작했다. '토이 스토리' 작가가 모션을 설계했으며, 보고 듣고 말하며 상황별 조명 조절과 알림을 지원한다. 사생활 보호용 선글라스도 함께 제공된다.
ChatGPT 음성 기능, 별도 모드 없이 채팅창에서 바로 쓴다
OpenAI가 ChatGPT 음성 기능을 별도 모드 전환 없이 일반 채팅창 내에서 바로 사용할 수 있도록 통합했다. 말하면서 텍스트 답변이 생성되는 과정을 지켜보고, 이전 대화나 이미지, 지도 등을 실시간으로 함께 확인할 수 있다. 모바일과 웹 전 사용자 대상으로 순차 배포 중이다.
구글, 안드로이드 오토에 제미나이 도입: 이메일 요약부터 자유로운 음성 대화까지
구글이 안드로이드 오토에 제미나이(Gemini) AI 어시스턴트를 글로벌 45개 언어로 순차 배포하기 시작했다. 정형화된 명령어 없이 자연스러운 대화로 경로상 맛집을 찾거나 읽지 않은 이메일을 요약하고, '제미나이 라이브'로 실시간 대화도 나눌 수 있다.
일레븐랩스, 소라·클링 통합한 이미지 및 비디오 생성 도구 공개
일레븐랩스가 이미지 및 비디오 생성 베타 기능을 선보였다. 소라, 베오, 클링, 플럭스 등 주요 영상·이미지 모델을 플랫폼 내에 통합하고, 자사 음성 모델을 활용한 립싱크 및 배경음악 합성과 편집까지 스튜디오에서 한 번에 처리할 수 있도록 지원한다.