Underdog, 163MB 음성인식 모델 Bark 3.0 공개: 5분 음성을 0.5초 만에 변환

Underdog이 오픈소스로 공개한 Bark 3.0은 기기 내에서 가볍고 빠르게 구동되는 음성인식 모델이다.

다운로드 크기가 163MB에 불과하지만, M5 Max 칩을 탑재한 맥북 프로에서 5분 분량의 오디오를 0.5초 만에 텍스트로 변환한다. 실시간 재생 속도 대비 595배 빠른 처리 성능을 보여주며, 인식 정확도 역시 훨씬 큰 기존 대형 모델들을 앞선다.

모델 크기는 줄이고 회의 인식률은 대폭 향상

Bark 3.0은 엔비디아의 parakeet-tdt-0.6b-v3와 Moondream의 parakeet-ultra 아키텍처를 기반으로 제작되었으며, 두 프로젝트 모두 CC-BY 4.0 라이선스를 따른다.

출시된 모델군은 목적에 따라 나뉜다. 기본형인 Bark 3.0(163MB) 외에도 오류를 줄인 Plus 버전(180MB), 최고 정확도를 제공하는 Pro 버전(1.25GB)이 있다. 1.25GB의 Pro 버전조차 일반 소비자용 그래픽카드 메모리에 여유 있게 올라간다.

오픈 ASR 리더보드의 7개 영어 벤치마크 평가에서 기본 Bark 3.0의 평균 단어 오류율은 4.94%를 기록했다. Plus 버전은 4.76%, Pro 버전은 4.29%까지 내려간다.

반면 9GB가 넘는 Whisper large-v3의 평균 오류율은 6.04%, 2.5GB 크기의 엔비디아 Parakeet은 4.94%였다. Bark 3.0이 Whisper 크기의 약 57분의 1 수준이면서도 더 우수한 정확도를 내는 셈이다.

특히 발화가 겹치는 회의 환경에서 차이가 두드러진다. AMI 회의 데이터셋 평가에서 Whisper large-v3의 단어 오류율이 13.63%, Parakeet이 9.42%였던 반면, 163MB 크기의 Bark 3.0은 7.82%를 기록했다.

불필요한 추임새를 지워주는 Clean 버전

실제 사람들의 말에는 '음', '어' 같은 추임새나 말더듬, 무의식적인 단어 반복이 자주 섞인다.

Underdog은 이를 보완하기 위해 180MB 크기의 Bark 3.0 Clean 버전을 함께 공개했다. 받아쓰기 과정에서 불필요한 군더더기 단어와 말실수를 자동으로 걸러내 정돈된 문장으로 출력해 준다.

다만 몇 가지 한계점도 명확하다. 현재는 영어만 지원하므로 다국어 작업에는 적합하지 않다. 또한 단어 단위 타임스탬프와 화자 분리 기능을 아직 지원하지 않으며, 기존 Bark 1.0에서 지원하던 사용자 맞춤 단어장 기능도 3.0에는 아직 적용되지 않았다.

사용 방법

모든 가중치는 허깅페이스에 공개되어 있으며, 출처 표기를 전제로 상업적 이용이 가능한 라이선스가 적용되어 있다. 허깅페이스 스페이스에서 마이크 녹음 버튼을 눌러 브라우저에서 바로 테스트해 볼 수 있고, 로컬 환경 구축을 위한 가이드 코드도 모델 페이지에서 제공된다.

왜 중요한가

Bark 3.0은 특정 도메인에 맞춘 경량화 모델이 거대 모델을 충분히 대체할 수 있음을 보여준다. 고품질 음성인식을 위해 수 기가바이트의 메모리를 쓰거나 클라우드 API를 호출해야 했던 부담을 100MB대 크기와 밀리초 단위 반응 속도로 해결했다.

영어 기반의 로컬 회의록 정리나 음성 입력 도구를 개발하는 팀이라면 Whisper Large 대신 도입을 검토해 볼 가치가 충분하다. 하드웨어 자원을 극적으로 아끼면서 완전한 온디바이스 개인정보 보호 환경을 구축할 수 있다.