바이트댄스·칭화대 DreamID-Omni 공개: 사진과 음성으로 다자간 대화 영상 생성
바이트댄스와 칭화대 연구팀이 DreamID-Omni를 발표했다. 인물 사진, 텍스트, 음성 샘플을 결합해 자연스러운 발화 영상을 제작하며, 다자간 동시 대화의 립싱크 꼬임 문제를 해결하고 영상 편집도 지원한다. 3월 중 v1 오픈소스 버전이 공개될 예정이다.
바이트댄스와 칭화대 연구팀이 DreamID-Omni를 발표했다. 인물 사진, 텍스트, 음성 샘플을 결합해 자연스러운 발화 영상을 제작하며, 다자간 동시 대화의 립싱크 꼬임 문제를 해결하고 영상 편집도 지원한다. 3월 중 v1 오픈소스 버전이 공개될 예정이다.
버거킹이 직원용 헤드셋에 내장되는 OpenAI 기반 음성 AI 비서 'Patty'를 공개했다. 조리법이나 장비 청소법을 안내하는 것은 물론, 직원이 고객에게 '감사합니다' 등의 공손한 표현을 썼는지 모니터링해 관리자에게 리포트한다. 현재 500개 매장에서 시범 도입 중이다.
오픈AI가 Realtime API에 신규 모델 'gpt-realtime-1.5'를 추가했다. 이번 업데이트를 통해 실시간 음성 대화 환경에서의 지시 수행 능력, 툴 호출, 다국어 정확도가 크게 향상됐다. 개발자는 음성 에이전트가 통화나 대화 도중 외부 도구를 오류 없이 안정적으로 호출하도록 구현할 수 있다.
AI 음성 받아쓰기 스타트업 위스퍼 플로우가 안드로이드 앱을 출시했다. 플로팅 버블 인터페이스로 다른 앱 위에서 바로 음성을 텍스트로 바꾸며, 군더더기 말을 지우고 문맥에 맞춰 자동 정렬한다. 인프라 개편으로 처리 속도를 30% 끌어올렸으며 100개 이상의 언어를 지원한다.
외신에 따르면 애플은 iOS 26.4 개발자 가이드를 통해 카플레이에서 챗GPT, 클로드, 제미나이 등 서드파티 AI 챗봇 지원을 처음으로 허용했다. 차량 화면에 최적화된 음성 제어 인터페이스가 제공돼 핸즈프리 문답이 가능해진다. 다만 차량 제어 권한이나 음성 호출어 기능은 제외돼 수동으로 앱을 실행해야 한다.
일레븐랩스가 음성과 디지털 채널을 아우르는 고객지원 에이전트 'ElevenAgents for Support'를 출시했다. 90개 이상의 언어와 1초 미만의 응답 속도를 지원하며 고객 감정에 맞춰 대화 톤을 조절한다. 기존 SOP를 기반으로 노코드 설정이 가능하며, 복잡한 문의는 맥락을 유지한 채 상담원에게 즉시 인계된다.
바티칸 성 베드로 대성전이 번역 기업 트랜스레이티드와 협력해 미사 AI 실시간 번역 서비스를 도입했다. 방문객은 앱 설치 없이 QR코드를 스캔해 브라우저에서 60개 언어로 음성과 텍스트 번역을 즉시 확인할 수 있다. 기술 기반은 라라(Lara) AI다.
문샤인 AI가 iOS, 안드로이드, 라즈베리 파이 등에서 실시간 작동하는 온디바이스 음성인식 모델 ‘문샤인 보이스’의 가중치를 공개했다. 2억 개 매개변수의 스트리밍 모델은 위스퍼 라지 v3보다 7.5배 작으면서도 단어 오류율에서 앞서며 다국어를 지원한다.
T-Mobile이 통신망 기반의 통화 실시간 번역 기능인 'Live Translation'을 올봄 베타 출시한다고 발표했다. VoLTE를 지원하는 기기라면 폴더폰이라도 별도 앱 없이 통화 중 87번을 눌러 50개 이상 언어를 번역할 수 있다. 통화 녹음은 저장되지 않으며 현재 테스터 등록을 받고 있다.
일레븐랩스가 업계 최초로 AIUC-1 인증 기반의 AI 음성 에이전트 보험을 도입했다. 5,000회 이상의 적대적 시뮬레이션을 통과해, AI가 잘못된 정보를 안내하는 등 업무 실수를 저지를 때도 일반 직원처럼 보험 처리가 가능해졌다. 기업들의 보안 및 책임 우려를 더는 계기가 될 것으로 보인다.
일레븐랩스가 텍스트 원고를 원클릭으로 고품질 오디오북으로 변환해 배포까지 마치는 'Audiobooks' 기능을 선보였다. 감정 표현이 풍부한 AI 음성과 목소리 복제, 세밀한 장면 연출을 지원하며, 완성된 오디오북은 ElevenReader 및 주요 플랫폼으로 즉시 배포할 수 있어 복잡한 제작 비용과 시간을 대폭 줄였다.
OpenMOSS 팀이 다국어 음성 합성 모델 패밀리 MOSS-TTS를 오픈소스로 공개했다. 몇 초 분량의 오디오만으로 음성을 정밀하게 복제하며, 다중 화자 대화와 초저지연 실시간 스트리밍을 두루 지원한다. 8B 및 1.7B 크기로 일반 GPU에서도 손쉽게 구동할 수 있다.
Soul-AILab이 제로샷 가창 음성 합성 모델 'SoulX-Singer'를 오픈소스로 공개했다. 몇 초 분량의 말소리와 참고 노래 음원만 입력하면 해당 목소리로 노래를 합성해 낸다. 모델 용량이 3GB 미만이라 저사양 GPU나 CPU에서도 로컬 구동이 가능하다.
영상 다국어 더빙과 입모양 동기화를 함께 생성하는 오픈소스 도구 Just Dub It이 공개됐다. LTX-2 모델 기반 경량 LoRA 어댑터로 작동해 화자의 얼굴 특징을 유지하며 번역 음성과 일치하는 입모양을 만들어낸다. 코드와 가중치가 모두 공개돼 일반 소비자용 GPU에서도 실행할 수 있다.
TTS, 음향 효과, 음악 생성 및 음성 스타일 편집을 하나의 아키텍처로 처리하는 통합 오디오 언어 모델 'UniAudio 2.0'이 오픈소스로 공개됐다. 전용 코덱을 통해 음성 이해와 고음질 파형 생성을 단일 모델 안에서 구현했다.
오늘 미스트랄 AI가 차세대 음성인식 모델군 'Voxtral Transcribe 2'를 발표했습니다. 실시간 스트리밍 모델인 4B 규모의 Voxtral Realtime은 아파치 2.0 라이선스로 가중치가 공개되었으며, 200ms 이하 초저지연으로 온디바이스 구동이 가능합니다. 한국어를 포함한 13개 언어와 화자 분리를 지원합니다.
OpenBMB가 9B 파라미터 오픈소스 옴니모달 모델 'MiniCPM-o 4.5'를 공개했다. 영상과 음성을 동시에 처리하며 실시간 음성 대화를 나누는 전이중 통신을 지원하며, 사용자의 말을 끊거나 스스로 먼저 말을 거는 능동적 상호작용이 가능하다. Mac이나 단일 GPU 등 로컬 기기에서도 구동되며 주요 비전 벤치마크에서 상용 모델에 필적한다.
일레븐랩스가 텍스트 음성 변환 모델 'Eleven v3'를 정식 출시했다. 전화번호, 통화, 화학식 등 맥락 기반 기호 판독 능력을 개선해 오류율을 15.3%에서 4.9%로 68% 낮췄으며, 테스트에서 72%의 이용자 선호를 기록했다.
통합 오디오 이해 모델 MOSS-Audio가 오픈소스로 공개되었습니다. 4B 및 8B 크기로 제공되며 각각 Instruct와 Thinking 버전을 갖췄습니다. 음성 인식, 화자 분석, 감정 감지, 환경음 및 음악 이해를 단일 모델로 통합했으며, 타임스탬프 ASR 정밀도에서 Gemini-3.1-Pro를 크게 앞섭니다.
애플이 이스라엘의 AI 스타트업 Q.ai를 약 20억 달러에 인수했다. 비츠 인수 이후 애플 역사상 두 번째로 큰 규모다. Q.ai는 얼굴 미세 표정과 소리를 내지 않는 '무음' 음성 입력 기술을 개발해 왔다. 향후 에어팟이나 비전 프로 등에서 소리를 내지 않고도 기기를 제어하는 새로운 상호작용이 기대된다.