엔비디아, 1초 만에 1시간 오디오 전사하는 Parakeet-TDT-v2 오픈소스 공개

Parakeet-TDT-0.6B-v2는 엔비디아가 공개한 오픈소스 자동 음성 인식(ASR) 모델이다. 매개변수는 6억 개로 가볍지만 속도가 압도적이다. 엔비디아 GPU 환경에서 구동하면 1시간 분량의 오디오를 단 1초 만에 텍스트로 변환한다.

이 모델은 현재 허깅페이스 Open ASR 리더보드에서 1위를 차지하고 있으며, 평균 단어 오류율(WER)은 6.05%에 불과하다. 오픈AI의 GPT-4o-transcribe(영어 WER 2.46%)나 일레븐랩스의 Scribe(3.3%) 같은 유료 상용 모델에 근접한 수준이다. 무엇보다 CC-BY-4.0 라이선스로 배포되어 인디 개발자부터 대기업까지 상업용 앱에 무료로 탑재할 수 있다.

무엇을 할 수 있나

이 모델은 FastConformer 인코더와 TDT(Token-and-Duration Transducer) 디코더를 결합했다. 토큰과 지속 시간을 함께 예측하는 방식으로 디코딩 연산 단계를 대폭 줄여 초고속 처리를 가능하게 만들었다.

배치 크기 128 기준 실시간 계수(RTFx)는 3386.02에 달한다. 단순 텍스트 변환뿐 아니라 문장 부호 복원, 대소문자 표기, 단어 단위 타임스탬프까지 완벽하게 지원해 자막 생성기나 음성 비서 백엔드로 바로 쓸 수 있다.

잡음 환경에서도 강하다. AMI, Earnings22, GigaSpeech, SPGISpeech 등 다양한 영어 음성 벤치마크를 거쳤으며, 전화 통화 음질이나 낮은 신호 대 잡음비 환경에서도 성능 저하가 크지 않다.

학습에는 약 12만 시간 분량의 영어 음성 코퍼스인 Granary 데이터셋이 쓰였다. 1만 시간의 고품질 인간 전사 데이터와 11만 시간의 의사 레이블 데이터로 구성되었으며, LibriSpeech, Mozilla Common Voice, YouTube-Commons 등이 출처다. 이 데이터셋은 Interspeech 2025 발표 이후 공개될 예정이다.

구동 방법과 사양

설치와 배포는 엔비디아 NeMo 툴킷을 통해 손쉽게 진행할 수 있으며, 파이썬과 파이토치 환경을 지원한다. 모델 가중치는 허깅페이스에서 바로 내려받을 수 있다.

하드웨어는 A100, H100, T4, V100 등 엔비디아 GPU 환경에 최적화되어 있다. 초고속 처리를 위해서는 엔비디아 GPU가 필요하지만, 6억 개 매개변수라는 작은 크기 덕분에 최소 2GB 램 환경에서도 모델을 로드할 수 있어 진입 장벽이 낮다.

왜 중요한가

음성 인식 서비스를 구축하려는 개발자나 스타트업에게 가뭄의 단비 같은 도구다. 그동안 실시간 자막이나 전사 기능을 만들려면 분당 비용이 발생하는 비싼 유료 API를 쓰거나, 느린 오픈소스 모델을 붙들고 씨름해야 했다. Parakeet-TDT-0.6B-v2는 상업적 제약 없이 최고 수준의 속도를 무료로 제공한다.

엔비디아의 전략 역시 영리하다. 초고성능 모델을 오픈소스로 풀어 개발자들을 끌어모으면서, 이를 가장 잘 구동할 수 있는 자사 GPU 하드웨어 수요를 자연스럽게 견인하고 있다. 현재는 영어 위주로 지원되지만, 전사 처리 비용을 아끼고 싶은 개발팀이라면 지금 당장 테스트해 볼 가치가 충분하다.