단 164MB 크기: 초경량 오픈소스 음성인식 모델 ‘Phonon-2’ 공개

Phonon-2는 Fermion Research가 오픈소스로 공개한 초경량 영어 음성인식 모델입니다. 다운로드 크기가 164MB에 불과해, 대용량 스토리지나 고사양 그래픽카드 없이도 로컬 기기에서 부담 없이 구동할 수 있습니다.

클라우드에 데이터를 보내지 않고 오프라인에서 음성을 텍스트로 바꾸고 싶다면 가장 간결한 선택지 중 하나입니다. macOS용 받아쓰기 앱인 Detta의 내부 음성인식 엔진으로도 이 모델이 사용되고 있습니다.

무엇을 할 수 있나

164MB라는 극도로 작은 크기에도 불구하고, Phonon-2의 인식 정확도는 대형 모델들과 대등한 수준입니다.

이 모델은 NVIDIA의 2.5GB 풀프레시전 모델인 parakeet-tdt-0.6b-v3를 기반으로 압축 최적화되어 용량을 약 15분의 1로 줄였습니다. Open ASR Leaderboard의 7개 영어 벤치마크 테스트에서 평균 단어 오류율 5.21%를 기록해, 원본 모델의 4.96%에 근접한 정확도를 유지합니다. 의회 연설 데이터셋에서는 원본 모델 대비 100.8%의 단어 정확도를 달성했고, 회의 녹음 환경에서는 원본 2.5GB 모델보다 더 우수한 인식률을 보였습니다.

다른 주요 오픈소스 모델과 비교해도 경쟁력이 두드러집니다. 1.6GB 용량의 Whisper large-v3-turbo의 오류율은 6.58%, 약 8GB인 Voxtral Mini 4B Realtime은 6.12%, 이전 세대인 Phonon-1(415MB)은 6.56%였습니다. 900MB 이하 오픈소스 영어 음성인식 모델 중에서는 현재 가장 뛰어난 벤치마크 성능을 보여줍니다.

속도 역시 매우 빠릅니다. M5 맥북 에어에서 1시간 분량의 오디오를 약 20초 만에 텍스트로 변환하며, 이는 실시간 대비 174배 빠른 속도입니다. 8코어 Zen 5 CPU(16 vCPU) 환경에서는 143배속, 단일 H100 GPU 환경에서 배치 처리를 거치면 실시간 대비 최대 6,680배속까지 올라갑니다.

어떻게 실행하나

Phonon-2는 다양한 로컬 개발 및 실행 환경을 지원합니다.

Apple Silicon 환경에서는 MLX 프레임워크를 통해 GPU 가속을 활용할 수 있으며, Neural Engine에 맞춘 Core ML 버전도 함께 제공됩니다. 명령어 옵션을 주면 단어별 시작과 끝 타임스탬프가 포함된 JSON 결과물을 바로 얻을 수 있습니다.

macOS 외에도 Android arm64-v8a 아키텍처용 C 헤더와 라이브러리를 지원하며, Linux와 Windows CPU 환경은 물론 Docker를 통한 CPU 및 GPU 실행 이미지도 배포되어 있습니다.

라이선스의 경우 모델 가중치는 원본과 동일한 CC-BY-4.0을 따르고, 명령줄 도구와 저장소 코드는 Apache 2.0으로 배포됩니다. 로컬에 설치하기 전 Hugging Face Spaces에서 제공되는 무료 데모를 통해 웹상에서 바로 테스트해 볼 수도 있습니다.

왜 중요한가

Phonon-2는 온디바이스 음성인식을 위해 굳이 기가바이트 단위의 모델을 상시 로드할 필요가 없음을 증명했습니다. 지금까지 로컬 받아쓰기 기능을 구현하려는 개발자들은 낮은 정확도를 감수하고 아주 작은 모델을 쓰거나, 메모리와 배터리를 과도하게 소모하는 대형 Whisper 모델을 올려야 했습니다.

오프라인 받아쓰기, 회의록 정리, 자막 생성 앱을 만드는 개발자라면 당장 도입을 검토해 볼 가치가 충분합니다. 저전력 노트북이나 스마트폰에서도 발열이나 버벅임 없이 즉각적인 전사 경험을 제공할 수 있기 때문입니다. 다만 영어 음성 처리에 초점이 맞춰져 있는 만큼, 다국어 지원이 필수적인 프로젝트라면 기존 대형 다국어 모델과의 병행이 필요합니다.