시끄러운 현실 음향에 특화된 음성 인식 모델 'Mega ASR' 오픈소스 공개

스튜디오에서 녹음된 깨끗한 팟캐스트라면 현재의 음성 인식 모델 대부분이 완벽하게 전사해 냅니다. 하지만 현실에서 마주하는 오디오는 길거리 소음, 회의실의 먹먹한 울림, 저가형 마이크의 찢어지는 소리로 가득 차 있기 마련입니다.

음향 조건이 나빠지면 주요 음성 인식 모델들도 단어를 통째로 빠뜨리거나 환각을 일으키며 엉뚱한 문장을 지어냅니다. 5월 19일, 이러한 현실 소음 문제를 정조준한 음성 인식 모델 Mega ASR이 공개되며 가중치와 로컬 실행 코드, 파인튜닝 스크립트가 함께 배포되었습니다.

정제된 음성 데이터셋에서 점수 경쟁을 벌이는 대신, 실제 세계의 거칠고 망가진 오디오를 끝까지 알아듣도록 설계한 것입니다.

소음과 음향 왜곡에 특화된 학습 전략

대다수 전사 모델은 왜곡이 심한 환경에서 소리의 물리적 신호를 놓치고 언어 모델의 문맥 추측에만 의존하게 됩니다. 연구진은 이를 음향 견고성 병목 현상이라고 짚었습니다.

주변 소음으로 사람 목소리를 분간하기 어려운 극단적인 샘플 테스트에서, Gemini 3 Pro나 Qwen 3 ASR 같은 주요 모델들은 높은 오류율을 기록했습니다. 반면 Mega ASR은 훼손된 신호 속에서도 대부분의 발화를 정확하게 텍스트로 복원해 냈습니다.

이러한 복원력을 갖추기 위해 연구진은 260만 건의 샘플로 구성된 Voices-in-the-Wild-2M 데이터셋을 구축했습니다. 원거리 수음, 물리적 장애물 차폐, 잔향 및 에코, 디지털 클리핑, 오디오 패킷 손실 등 7가지 핵심 음향 현상과 54개 복합 시나리오를 물리적으로 정밀하게 모사해 학습에 활용했습니다.

음향에서 의미로 이어지는 점진적 지도 미세조정과 단어 오류율 기반 정책 최적화를 거친 결과, 열악한 환경 벤치마크인 VOiCES R4-B-F에서 오류율을 54.01%에서 45.69%로, NOIZEUS Sta-0에서는 29.34%에서 21.49%로 낮췄습니다. 복합 음향 왜곡 조건에서는 주요 오픈소스 및 상용 모델 대비 단어 오류율을 30% 이상 줄였습니다.

특히 실용적인 부분은 전체 모델 크기가 5GB 미만이라는 점입니다. 고가의 클라우드 인프라 없이 일반 소비자용 GPU가 탑재된 로컬 PC에서도 여유롭게 구동할 수 있습니다.

왜 중요한가

Mega ASR은 음성 인식의 초점을 벤치마크 점수 놀음에서 실제 작업 현장의 생산성으로 돌려놓았다는 점에서 의미가 큽니다.

현장 취재 오디오를 풀어야 하는 기자나 소음이 심한 곳에서 회의록을 작성해야 하는 직장인에게 즉각적인 도움을 줍니다. 음성 인식 전에 별도 노이즈 제거 툴을 거치며 음성이 뭉개지던 번거로움을 덜 수 있고, 5GB 미만의 가벼운 크기로 로컬에서 전사를 끝낼 수 있어 민감한 대화 유출 우려도 덜어냅니다.

업계 전반으로 봐도 모델 덩치만 키운다고 모든 문제가 해결되지 않는다는 점을 분명히 보여줍니다. 입력되는 음향 물리 신호가 왜곡되면 아무리 똑똑한 언어 모델이라도 단어를 지어낼 뿐입니다. 정교한 음향 시뮬레이션 데이터를 통한 점진적 최적화가 소형 모델의 성능을 얼마나 끌어올릴 수 있는지 입증했습니다.

물론 이 모델의 강점은 음향 왜곡 극복에 집중되어 있어, 특수한 전문 도메인 어휘는 제공되는 스크립트를 통해 추가 미세조정을 거쳐야 합니다. 그럼에도 일반 PC 그래픽카드에서 바로 돌아가면서 현실의 엉망인 오디오를 가장 잘 알아듣는 오픈소스 도구가 등장했다는 점은 주목할 만합니다.