Gradium, 온디바이스 TTS 'phonon-31m-en' 공개: 64.5MB로 브라우저서 로컬 실행
Gradium 팀이 경량 영어 음성 합성 모델 phonon-31m-en을 공개했다. Pocket TTS와 Mimi 코덱 기술을 기반으로 개발되어 8비트 양자화 시 64.5MB에 불과하며, 스마트폰과 웹 브라우저 등에서 오프라인 스트리밍 음성 합성이 가능하다. Apache 2.0 라이선스로 상업적 이용도 지원한다.
Kyutai
Mirelo·Kyutai, 음원 전체서 악기별 MIDI 분리 추출하는 'MuScriptor' 오픈소스 공개
Mirelo와 Kyutai가 완곡 음원에서 악기별 트랙을 분리해 MIDI로 변환하는 'MuScriptor' 모델을 오픈소스로 공개했다. 단일 악기만 처리하던 기존 한계를 넘어 믹싱된 곡에서 보컬, 드럼, 베이스, 건반을 한 번에 악보 및 MIDI 트랙으로 추출해 준다.
큐타이 포켓 TTS: CPU에서 실시간 구동되는 1억 파라미터 음성 합성
큐타이가 GPU 없이 CPU만으로 구동되는 초경량 음성 합성 도구 '포켓 TTS'를 오픈소스로 공개했다. 1억 파라미터 크기로 M4 맥북 에어 2개 코어에서 6배 실시간 속도와 200ms 응답 지연을 제공하며, 음성 복제와 무제한 텍스트 입력을 지원한다.
큐타이, 화자 목소리 유지하는 실시간 동시통역 AI '히비키' 공개
프랑스 AI 연구소 큐타이가 실시간 음성 번역 모델 '히비키'를 공개했다. 현재 프랑스어-영어 번역을 지원하며, 화자의 고유 음색을 유지한 채 의미 맥락에 맞춰 말하기 속도를 조절한다. 평가 결과 인간 통역사에 근접한 자연스러움을 기록했다.
프랑스 큐타이, 지연 시간 200ms 오픈소스 음성 AI '모시' 공개
프랑스 AI 연구소 큐타이가 실시간 음성 비서 '모시(Moshi)'를 시연하고 오픈소스로 공개한다고 밝혔습니다. 8명의 연구진이 개발한 이 모델은 지연 시간이 200ms에 불과하며, 인터넷 연결 없이 노트북 로컬에서도 자연스러운 양방향 대화가 가능합니다.