바이트댄스, 대화·효과음·음악을 한 번에 생성하는 'Seed-Audio 1.0' 공개
볼케이노 엔진이 올인원 오디오 생성 모델 'Seed-Audio 1.0'을 공개했다. 한 번의 생성으로 다중 화자 대화, 감정 연기, 효과음 및 배경음악을 동시에 조율해 출력할 수 있다. 음성 참조 기능을 통해 일관된 음색을 유지하며, 현재 주로 API를 통해 제공된다.
AI 음성
최신 소식 보기
dots.tts: 샤오홍슈, 2B 오픈소스 음성 합성 모델 공개
샤오홍슈(Rednote)가 20억 파라미터 기반의 종단간 음성 합성 모델 dots.tts를 공개했다. 완전 연속 자기회귀 아키텍처와 48kHz AudioVAE를 적용해 이산 토큰 없이 뛰어난 유사도의 음성 복제와 편집을 지원한다. 코드와 가중치는 Apache-2.0 라이선스로 배포된다.
보손 AI, Higgs TTS 3 공개: 텍스트 태그로 감정 연출, 가중치 오픈
Boson AI가 대화형 에이전트를 위한 음성 합성 모델 Higgs TTS 3를 공개하고 Hugging Face에 가중치를 배포했다. 텍스트에 인라인 태그를 넣어 감정, 속도, 음높이, 멈춤을 실시간 조절할 수 있으며 100개 이상의 언어를 지원한다. 성우를 디렉팅하듯 정밀한 감정 표현이 가능해졌다.
Miso, 감정 표현 특화 8B 음성 모델 'Miso One' 오픈소스 공개
Miso가 80억 파라미터 규모의 텍스트 음성 변환 모델 'Miso One' 가중치를 오픈소스로 공개했다. 세계에서 가장 감정 표현력이 뛰어난 모델을 표방하며 지연 시간은 110밀리초에 불과하다. 실시간 대화에 적합하며 API도 곧 제공될 예정이다.
바이트댄스, 원시 파형 직접 모델링하는 음성 복제 모델 'WavTTS' 발표
바이트댄스가 제로샷 음성 합성 모델 WavTTS를 공개했다. DiT와 Flow Matching을 기반으로 압축 잠재 공간을 거치지 않고 원시 음성 파형을 직접 모델링해 정보 손실을 원천 차단했다. 단 몇 초의 샘플만으로 자연스러운 음성을 복제할 수 있어 엔드투엔드 음성 합성의 새 가능성을 열었다.
브릴리언트, AI 튜터 'Koji' 공개: 답 대신 화면 주석과 질문으로 생각 유도
브릴리언트가 '그래픽 튜터'를 표방하는 AI 과외선생님 Koji를 공개했다. 정답을 바로 알려주는 대신 학습자의 화면과 고민 지점을 인식해 그래프에 주석을 달고 질문을 던지며 스스로 풀도록 이끈다. 현재 대다수 수학 및 코딩 강좌에 적용됐다.
바이두, 영상·음성 동시 생성 모델 NAVA 공개: 63억 파라미터로 싱크 구현
바이두 ERNIE 팀이 63억 파라미터 규모의 영상·음향 동시 생성 모델 NAVA를 오픈소스로 공개했다. 영상을 만든 뒤 소리를 입히는 대신 하나의 프롬프트에서 영상과 스테레오 음성을 함께 생성하며, 참조 음성을 통한 화자 음색 제어도 지원한다.
일레븐랩스, 감정 살리는 AI 더빙 모델 '더빙 v2' 공개
일레븐랩스가 원본 음성의 감정과 연기 톤을 여러 언어로 그대로 보존하는 차세대 AI 모델 '더빙 v2'를 발표했다. 번역된 오디오에서도 화자의 미묘한 감정선이 유지되어, 글로벌 영상 콘텐츠의 음성 현지화 작업이 한층 더 자연스러워질 전망이다.
스포티파이, 프롬프트로 만드는 맞춤형 AI 개인 팟캐스트 공개
스포티파이가 프롬프트나 PDF, 링크를 기반으로 개인 맞춤형 오디오 에피소드를 생성해 주는 'Personal Podcasts'를 발표했다. 사용자의 청취 취향과 지식을 결합해 일일 브리핑이나 특정 주제 요약을 비공개로 생성해 준다. 다음 달 미국 프리미엄 사용자에게 먼저 출시되며, 실시간 팟캐스트 Q&A 기능은 미국 등 3개국에 즉시 적용됐다.
알리바바, 보고 듣는 실시간 동시통역 AI 'Qwen 3.5 Live Translate' 공개
알리바바가 실시간 멀티모달 통역 모델 'Qwen 3.5 Live Translate'를 선보였다. 음성뿐 아니라 영상 속 시각 맥락을 함께 인식해 동음이의어와 제품 정보를 정확히 번역하며, 60개 언어 지원과 실시간 음성 복제, 2.8초 지연 시간을 제공한다. 현재 무료 데모가 공개되어 있다.
시끄러운 현실 음향에 특화된 음성 인식 모델 'Mega ASR' 오픈소스 공개
극심한 소음과 울림 등 열악한 환경의 오디오를 전사하는 음성 인식 모델 Mega ASR이 공개됐다. 260만 건의 음향 변형 데이터로 학습되어 복잡한 조건에서 기존 주요 모델 대비 약 30% 향상된 성능을 보인다. 전체 크기가 5GB 미만이라 일반 소비자용 GPU에서도 로컬 구동과 파인튜닝이 가능하다.
Meta, 잠재 공간 건너뛰고 원본 파형서 직접 오디오 생성하는 WavFlow 공개
Meta는 VAE나 잠재 공간 압축 없이 원본 파형에서 직접 44.1kHz 고음질 오디오를 생성하는 WavFlow를 공개했습니다. 무음 영상에 드럼 등 동작에 맞춘 효과음을 입힐 수 있습니다. 다만 사내 정책 제한으로 공식 저장소에는 학습 스크립트만 공개되었고 완전한 가중치는 제외되었습니다.
아마존, 맞춤형 AI 방송 만드는 '알렉사 팟캐스트' 공개
아마존이 미국 알렉사+ 구독자를 대상으로 맞춤형 오디오를 자동 제작하는 '알렉사 팟캐스트'를 출시했다. 이용자가 원하는 주제를 말하고 대화로 분량과 개요를 조율하면, AI 음성 진행자가 몇 분 만에 에피소드를 생성한다. 로이터 등 200여 개 제휴 언론사의 정보를 기반으로 작동한다.
저장대 '오디오하이잭' 공개: 사람 귀엔 안 들리는 소리로 AI 음성 비서 탈취
중국 저장대 연구진이 AI 음성 모델을 무단 제어하는 공격 기법 '오디오하이잭(AudioHijack)'을 공개했다. 사람 귀에는 들리지 않는 미세 신호를 음원에 섞어 79~96%의 성공률로 데이터 탈취 등의 명령을 실행하며, 마이크로소프트와 미스트랄의 음성 AI 서비스에서도 유효성이 입증됐다.
엣지 브라우저에 코파일럿 심층 통합: 여러 탭 동시 분석하고 팟캐스트까지 생성
마이크로소프트가 데스크톱 및 모바일용 엣지에 코파일럿의 새 기능을 대거 탑재했다. 여러 탭을 동시에 분석하는 추론 기능과 장기 기억, 음성·화면 공유 기반 대화가 지원되며 웹페이지를 팟캐스트로 바꾸는 도구도 추가됐다. 기존 'Copilot Mode'는 서비스가 종료된다.
리셈블 AI, 대본 지시문으로 웃음·한숨 연기하는 음성 모델 '드라마박스' 공개
리셈블 AI가 연출 지시가 가능한 음성 합성 모델 '드라마박스(DramaBox)'를 공개했다. 대본처럼 따옴표 안에는 대사를, 밖에는 감정과 한숨, 웃음 등 무대 지시문을 자연어로 적어 연기를 제어하며 음성 복제도 지원한다. 위변조 방지 워터마크가 내장되어 있으며 로컬 실행용 모델로도 다운로드할 수 있다.
2B 규모 오픈소스 TTS 모델 공개, 몇 초 음성으로 속삭임까지 제로샷 복제
20억 파라미터 규모의 새로운 오픈소스 텍스트 음성 변환(TTS) 모델이 공개됐다. 단 몇 초의 참조 음성만으로 제로샷 음성 복제가 가능하며, 속삭임이나 말더듬 같은 세밀한 표현과 다국어 합성까지 지원한다. 모델 크기는 약 5GB로 소비자용 GPU에서 구동되며 아파치 2.0 라이선스로 상용화도 가능하다.
Scenema Audio 오픈소스 공개: 지문으로 감정 조절하는 LTX 2.3 기반 음성 모델
ScenemaAI 가 감정 표현에 특화된 음성 생성 모델 Scenema Audio 를 오픈소스로 공개했습니다. LTX 2.3 에서 추출한 오디오 확산 구조를 바탕으로 지문 태그를 통해 감정 변화와 배경음을 제어하며, 제로샷 목소리 복제도 지원합니다. 16GB VRAM 환경부터 구동할 수 있습니다.
Thinking Machines, 상호작용 모델 공개: 턴제 대화 벗어나 200ms 단위 실시간 협업
Thinking Machines가 차세대 상호작용 모델 연구 프리뷰를 공개했습니다. 묻고 답하는 기존 턴제 방식을 탈피해 200ms 단위 마이크로 턴으로 음성·영상·텍스트를 지속 처리합니다. 백그라운드 추론 모델과 결합해 실시간 끼어들기, 동시 발화, 대화 중 도구 검색 등 사람 같은 협업을 구현했습니다.
xAI, 애플 카플레이용 그록 음성 모드 출시: 테슬라 밖으로 영토 확장
xAI가 애플 카플레이용 그록 음성 모드를 선보이며 차량 대시보드에서 핸즈프리로 AI와 대화할 수 있게 지원한다. iOS 26.4 기반으로 작동하며 운전 방해를 막기 위해 텍스트나 이미지는 표시되지 않는다. 테슬라에 묶여 있던 그록이 카플레이를 통해 일반 차량까지 영역을 넓혔다.