NovaSR: 단 52KB 용량으로 실시간보다 3500배 빠른 초경량 오디오 업샘플러

NovaSR은 가중치 파일 용량이 약 52KB에 불과한 오픈소스 초경량 오디오 업샘플링 모델이다. 답답하고 뭉개진 16kHz 음성을 맑고 선명한 48kHz 고음질 오디오로 복원하는 기능을 제공한다.

단일 A100 GPU 환경에서 실시간 대비 3600배라는 경이적인 처리 속도를 보여준다. 1시간 분량의 오디오를 1초 남짓한 시간에 처리할 수 있어, 연산 자원과 메모리 소모가 거의 발생하지 않는다.

52KB를 달성한 구조와 처리 성능

수 기가바이트에 달하는 확산 모델 기반 오디오 도구들과 달리, NovaSR은 군더더기를 철저하게 덜어낸 구조를 취했다.

10개 미만의 초소형 Conv1D 합성곱 계층을 사용하고, BigVGAN에서 유래한 Snake 활성화 함수를 결합해 초소형 크기에서도 음질을 최대한 보존하도록 설계했다. 학습 데이터 역시 mls_sidon과 VCTK를 합쳐 단 100시간 분량만 활용했다.

공식 비교 자료에 따르면 AudioSR은 용량이 약 2000MB에 속도가 실시간의 0.6배, FlashSR은 1000MB에 14배, FlowHigh는 450MB에 20배 수준이다. NovaSR은 크기를 수천 배 줄이면서 속도는 수천 배 수준으로 끌어올렸다.

사용 방법과 현실적인 한계

모델이 극단적으로 작아 고성능 GPU가 없어도 일반 소비자용 그래픽카드나 CPU 환경에서 부담 없이 돌아간다. CPU에서 실행할 때는 half=False 옵션을 적용하면 3~4배가량 추가 속도 향상을 얻을 수 있다.

다만 경량화에 따른 한계도 뚜렷하다. 현재 입력은 16kHz만 지원하며 복원 음질은 중간 수준에 머무른다. 더 높은 품질과 유연한 샘플링 레이트 지원이 필요한 사용자를 위해 개발자는 후속 모델인 50MB 크기의 LavaSR 사용을 권장하고 있다.

체험을 원하는 개발자는 GitHub 저장소를 통해 바로 설치하거나 Hugging Face Space에서 무료 온라인 데모를 이용할 수 있다. 자체 데이터셋으로 미세조정을 진행할 수 있는 Kaggle 노트북도 함께 제공된다.

왜 중요한가

TTS(음성 합성) 파이프라인을 구축하는 개발자에게 NovaSR은 지연 시간을 늘리지 않고 음질을 높여주는 유용한 후처리 도구가 된다. 지연 시간을 줄이기 위해 16kHz로 뽑아낸 저용량 음성을 순식간에 48kHz로 끌어올릴 수 있기 때문이다.

무엇보다 52KB라는 크기 덕분에 스마트폰, 회의용 마이크, 무선 이어폰 등 온디바이스 하드웨어에 탑재해 통화 음질 개선이나 실시간 고주파 복원에 즉시 투입할 수 있다.

거대 모델 경쟁 속에서 NovaSR은 실시간성과 경량화라는 실용적 가치에 집중한 모범적인 사례다. 극한의 제약을 가진 엣지 환경에서 음성을 다루는 개발자라면 꼭 확인해 볼 만한 프로젝트다.