엔비디아, 약 100만 시간 규모 다국어 음성 데이터셋 'Granary' 및 신규 모델 오픈소스 공개

엔비디아가 카네기멜론대학교(CMU), 브루노 케슬러 재단과 협력해 약 100만 시간 규모의 다국어 음성 데이터셋 'Granary'와 이를 기반으로 학습한 음성 모델 'Canary-1b-v2', 'Parakeet-tdt-0.6b-v3'를 오픈소스로 공개했습니다.

데이터셋과 모델은 허깅페이스(Hugging Face)에서 바로 내려받을 수 있으며, 데이터 정제 파이프라인도 깃허브(GitHub)에 공개되었습니다. 다국어 챗봇, 고객센터 음성 에이전트, 실시간 번역 서비스를 구축해야 하는 팀이라면 즉시 배포 테스트를 진행해볼 만한 완성도 높은 베이스 모델입니다.

Granary는 음성 인식(ASR)용 약 65만 시간, 음성 번역(AST)용 35만 시간 이상을 포함해 약 100만 시간의 오디오를 담고 있습니다. 크로아티아어, 에스토니아어, 몰타어 등 데이터가 부족한 저자원 언어를 포함해 유럽 25개 언어를 지원하며, EU 공식 언어 대부분과 러시아어, 우크라이나어를 아우릅니다.

라벨링 없이 정제한 100만 시간의 데이터 파이프라인

Granary의 핵심은 값비싼 인간 라벨링 작업을 거치지 않았다는 점입니다. 연구진은 오픈소스 툴킷인 NVIDIA NeMo Speech Data Processor를 활용해 공개된 라벨 없는 오디오를 정제된 고품질 학습 데이터로 자동 변환하는 파이프라인을 구축했습니다.

NeMo Curator를 통해 합성 음성 등 품질이 낮은 데이터를 걸러내고, 음성과 텍스트 정렬 및 규격 변환을 자동으로 처리해 시간과 비용을 획기적으로 줄였습니다.

네덜란드에서 열리는 Interspeech 2025 발표 논문에 따르면, Granary는 기존 주요 데이터셋 대비 약 절반의 학습 데이터만으로도 동일한 수준의 음성 인식 및 번역 정확도를 달성할 수 있었습니다.

정확도의 Canary와 처리 속도의 Parakeet

함께 공개된 두 모델은 각자 목적이 뚜렷하며, 모두 구두점, 대소문자, 단어 단위 타임스탬프 출력을 기본 지원합니다.

Canary-1b-v2는 10억(1B) 매개변수 모델로, 관대한 라이선스로 제공됩니다. 지원 언어가 기존 4개에서 25개로 늘어났으며, 유럽 언어 전사와 영어 간 양방향 번역을 지원합니다.

현재 허깅페이스 다국어 음성 인식 정확도 리더보드 1위에 올랐으며, 공식 발표에 따르면 3배 더 큰 모델과 대등한 품질을 내면서도 추론 속도는 최대 10배 더 빠릅니다.

Parakeet-tdt-0.6b-v3는 6억(600M) 매개변수로 크기를 줄여 처리량과 짧은 지연 시간에 집중한 모델입니다. 허깅페이스 리더보드에서 가장 높은 처리량을 기록했으며, 24분 길이의 오디오를 단 한 번의 추론으로 전사할 수 있습니다. 추가 프롬프트 없이 입력된 언어를 스스로 감지합니다.

왜 중요한가

유럽 다국어 음성 기능을 개발하는 개발자라면 지금 즉시 테스트해볼 만합니다. 데이터가 부족한 소수 언어는 그동안 오픈소스 모델의 성능이 낮아 비싼 유료 API에 의존하는 경우가 많았습니다. 가벼운 600M 및 1B 크기로 온프레미스나 엣지에서도 빠른 속도로 고품질 전사를 돌릴 수 있게 되었습니다.

모델뿐만 아니라 NeMo 기반의 데이터 정제 파이프라인 자체를 오픈소스로 푼 점도 주목할 만합니다. 동일한 파이프라인을 적용하면 아시아나 아프리카 등의 저자원 언어 데이터셋도 빠르게 구축할 수 있어, 다국어 음성 AI 개발의 문턱이 한층 낮아졌습니다.