알리바바, 옴니모달 AI 'Qwen3.5-Omni' 공개: 카메라에 말하면 앱 개발
알리바바 Qwen 팀이 텍스트·이미지·오디오·비디오를 네이티브로 동시 처리하는 'Qwen3.5-Omni'를 공개했다. 카메라를 보고 아이디어를 말하면 즉시 웹사이트나 게임을 구축하는 '시청각 바이브 코딩'을 지원하며, 최대 10시간 분량의 오디오를 처리하고 Gemini-3.1 Pro를 앞서는 오디오 성능을 보였다.
AI 음성
최신 소식 보기
3초 오디오로 음성 복제하는 LuxTTS: 1GB VRAM으로 48kHz 150배속 생성
3초 분량의 오디오만으로 음성을 복제하는 오픈소스 모델 LuxTTS가 공개되었습니다. 1GB 미만의 VRAM으로 작동하며 추론을 4단계로 줄여 GPU에서 실시간 대비 150배 속도를 냅니다. 대부분의 기존 모델과 달리 48kHz 고음질 출력을 지원해 저사양 PC나 CPU 환경에서도 선명한 음성을 뽑아낼 수 있습니다.
구글 번역 이어폰 '실시간 번역' iOS 출시: 일반 이어폰으로 70개 이상 언어 지원
구글은 이어폰 실시간 번역 기능을 iOS로 확대하고 12개국으로 지원을 넓혔습니다. 제미나이 AI를 기반으로 화자의 억양을 살려 70개 이상의 언어를 통역하며, 전용 하드웨어 없이 일반 이어폰만 꽂으면 바로 쓸 수 있습니다.
구글, 실시간 음성 AI '제미나이 3.1 플래시 라이브' 출시
구글이 실시간 음성 대화 모델 '제미나이 3.1 플래시 라이브'를 공개했다. 자연스러운 억양과 대화 호흡을 갖추고 복잡한 작업 수행 능력을 강화했다. 200여 개국에 확대된 서치 라이브와 제미나이 라이브에 적용되었으며, 개발자용 API도 프리뷰로 제공된다.
코히어, 20억 파라미터 오픈소스 음성인식 모델 'Transcribe' 공개
코히어가 첫 오픈소스 음성인식 모델 'Transcribe'를 출시했다. 20억 파라미터 크기로 소비자용 GPU에서 로컬 구동이 가능하며 한국어 등 14개 언어를 지원한다. 1분에 525분 분량의 오디오를 처리할 수 있으며, 무료 API로도 제공된다.
Smallest.ai, 문장 중간 언어 전환과 감정 조절 지원하는 '라이트닝 V3' 공개
Smallest.ai가 음성 에이전트용 TTS 모델 '라이트닝 V3'를 출시했다. 15개 언어 자동 인식과 문장 내 언어 교차 전환을 지원하며, V3.2에서는 감정과 속삭임 제어가 가능하다. 5~15초 오디오만으로 자연스러운 발화 호흡을 지닌 음성을 복제할 수 있다. 현재 무료 체험과 종량제 API를 제공한다.
알리바바, 무음 영상에 효과음 입히는 'PrismAudio' 오픈소스 공개
알리바바가 무음 영상을 분석해 동작에 맞는 효과음을 자동 생성하는 'PrismAudio'를 오픈소스로 공개했습니다. 강화학습과 생각의 사슬을 결합해 먼저 추론한 뒤 소리를 만들며, 5.18억 파라미터 크기로 9초 분량의 오디오를 0.63초 만에 생성해 속도와 벤치마크 전반에서 대형 경쟁 모델들을 앞섭니다.
미스트랄, 4B 음성 모델 'Voxtral TTS' 출시…지연시간 70ms
미스트랄 AI가 첫 텍스트 음성 변환 모델인 Voxtral TTS를 공개했습니다. 4B 파라미터 크기로 영어와 프랑스어 등 9개 언어를 지원하며, 3초 분량의 음성만으로도 화자 복제가 가능합니다. 모델 가중치가 공개되었으며 API 및 Mistral Studio에서 제공됩니다.
작고한 명배우 발 킬머, 생성형 AI로 부활… 독립영화 중요 배역 맡는다
외신에 따르면 독립영화 '애즈 딥 애즈 더 그레이브' 제작진이 2025년 별세한 배우 발 킬머를 생성형 AI로 재현해 영화에 출연시킨다. 생전 암 투병으로 촬영하지 못했던 배역을 유족의 동의와 SAG 가이드라인에 맞춰 목소리와 외형을 복원해 구현한 사례다.
알리바바, 입술 모양 맞추는 영상 더빙 AI 'Fun-CineForge' 공개
알리바바가 영상 속 입술 움직임에 맞춰 대사를 생성하는 멀티모달 더빙 모델 Fun-CineForge를 오픈소스로 공개했다. 시간 정보를 독립 모달리티로 다뤄 얼굴 가림이나 빠른 화면 전환 속에서도 캐릭터별 음성과 타이밍을 정밀하게 맞춰준다.
칭화대, 'OpenMAIC' 오픈소스 공개…주제만 넣으면 AI 교사와 동급생이 수업 진행
칭화대 연구진이 주제나 문서만 입력하면 대화형 수업을 자동 생성하는 'OpenMAIC'을 오픈소스로 공개했다. AI 교사와 AI 급우가 음성으로 강의하고 화이트보드에 수식을 그리며 실시간 토론과 퀴즈까지 이끈다. 일방향 동영상 강의를 넘어 AI와 직접 상호작용하며 학습할 수 있는 환경을 누구나 로컬에 구축할 수 있다.
텐센트, 실시간 전이중 음성 대화 모델 'Covo-Audio' 오픈소스 공개
텐센트가 7B 규모의 엔드투엔드 오디오 언어 모델 'Covo-Audio-Chat'을 오픈소스로 공개했다. 단일 통합 구조에서 연속 오디오를 직접 처리해 말하면서 동시에 듣고 끼어들기까지 가능한 전이중 음성 상호작용을 지원한다. 코드와 가중치는 GitHub 및 Hugging Face에 공개됐다.
피시 오디오, 단어 단위 음성 제어 지원하는 오픈소스 TTS 'S2' 공개
피시 오디오가 차세대 오픈소스 음성 합성 모델 'Fish Audio S2'를 공개했다. 스크립트 본문에 자연어 태그를 삽입해 단어 단위로 억양과 호흡을 제어할 수 있으며, 첫 패킷 지연 시간은 100ms에 불과하다. 모델 가중치와 파인튜닝 코드는 깃허브와 허깅페이스에 공개되었다.
영상과 음성을 한 번에, 일체형 디지털 휴먼 모델 'ID Laura' 오픈소스 공개
올인원 디지털 휴먼 생성 모델 ID Laura가 오픈소스로 공개됐다. 음성을 먼저 복제하고 영상 입모양을 맞추던 기존 2단계 방식 대신, 단일 모델 안에서 영상·음성·배경음을 한 번에 동기화해 생성한다. LTX 2.3 기반으로 구동에 최소 24GB, 권장 48GB의 VRAM이 필요하다.
Hume AI, 음성 모델 'TADA' 오픈소스 공개: 기존 대비 5배 빠르고 온디바이스 지원
Hume AI가 음성 언어 모델 'TADA'를 오픈소스로 공개했다. 텍스트 토큰과 음향 벡터를 1대1로 일치시켜 기존 LLM 기반 TTS보다 5배 이상 빠르며, 1000개 이상 테스트에서 환각 현상 0건을 기록했다. 2048 토큰 창으로 약 700초 분량 음성을 처리할 수 있고 스마트폰 등 엣지 기기에서도 단독 구동된다.
타부스, 실시간 감정·의도 인식 멀티모달 시스템 '레이븐-1' 공개
타부스(Tavus)가 대화 상대의 어조와 표정을 실시간으로 파악하는 멀티모달 인식 시스템 '레이븐-1(Raven-1)'을 공개했다. 감정을 단순 분류하지 않고 자연어로 묘사하며, 음성과 영상을 300ms 이내 지연 시간으로 처리한다. OpenAI 호환 도구 호출도 지원해 텍스트에만 의존하던 대화형 AI가 뉘앙스와 맥락을 정확히 읽어낼 수 있게 돕는다.
X, 장문 게시물 AI 낭독 기능 추가: Grok 음성 지원 및 백그라운드 재생
X가 장문 글에 xAI Grok 음성 기반의 'Listen' 낭독 버튼을 도입했다. 사용자는 피드를 넘기거나 다른 앱을 켠 상태에서도 백그라운드로 게시물을 들을 수 있다. 크리에이터 지원을 강화하는 동시에 Grok 모델 학습에 필요한 심층 데이터를 확보하려는 전략이다.
LTX Studio, 기업용 영상 더빙 및 자막 기능 출시
AI 영상 제작 플랫폼 LTX Studio가 기업의 콘텐츠 현지화를 위한 더빙 및 자막 기능을 출시했다. 여러 언어권의 시청자를 겨냥해 영상 제작을 확장할 수 있도록 돕는 기능이지만, 지원 언어와 세부 요금제는 아직 공개되지 않았다.
앤트로픽, 클로드 코드에 음성 모드 도입… 초기 5% 대상 테스트
Anthropic이 코딩 어시스턴트 Claude Code에 음성 모드를 도입하기 시작했다. 현재 약 5%의 사용자를 대상으로 우선 제공되며 향후 몇 주에 걸쳐 확대된다. 대상자는 시작 화면에서 안내를 확인한 뒤 '/voice' 명령어를 입력해 말로 코딩을 제어할 수 있다.
마이크로소프트, 60분 오디오 한 번에 전사하는 'VibeVoice-ASR' 공개
마이크로소프트가 허깅페이스에 음성인식 모델 'VibeVoice-ASR'을 공개했다. 오디오를 조각내지 않고 최대 60분 분량을 64K 토큰 내에서 한 번에 처리하며, 화자 구분과 타임스탬프, 맞춤형 핫워드, 50개 이상 언어의 혼용 전사를 지원한다.