Stability AI, 오픈 오디오 모델 'Stable Audio Open' 기술 논문 발표

Stable Audio Open은 텍스트 프롬프트를 입력받아 고품질 음향 효과와 현장 녹음 사운드를 생성하는 Stability AI의 오픈 가중치 오디오 모델이다.

일반 소비자용 GPU에서도 원활히 구동되며, 44.1kHz의 스테레오 사운드를 최대 47초까지 생성한다. 발소리나 문 삐걱거리는 소리 같은 폴리 효과음부터 게임용 배경 앰비언스, 음악 작업용 드럼 루프까지 텍스트 한 줄로 만들어낸다.

아키텍처와 학습 데이터

이 모델은 오디오 파형을 압축하는 오토인코더, 텍스트 프롬프트를 처리하는 T5 텍스트 임베딩, 그리고 오토인코더의 잠재 공간에서 동작하는 확산 트랜스포머(DiT)의 세 가지 핵심 요소로 구성된다.

오토인코더는 잠재 레이트를 21.5Hz까지 낮춰 음질을 유지하면서도 시퀀스 길이를 대폭 줄였다. 아키텍처 전반은 Stable Audio 2.0에 기반하지만, 텍스트 입력 처리 방식을 기존 CLAP 대신 T5로 변경해 세밀한 프롬프트 제어가 가능하도록 다듬었다.

저작권 리스크를 원천 차단하기 위해 학습에는 크리에이티브 커먼즈 라이선스가 적용된 약 50만 건의 음원 데이터만 사용했다. Freesound에서 수집한 47만 2,618건과 Free Music Archive의 1만 3,874건으로, CC-0, CC-BY, CC-Sampling+ 라이선스 음원들이다.

데이터 정제 과정도 철저했다. PANNs 오디오 태거로 음악 샘플을 식별한 뒤 오더블 매직(Audible Magic)의 음향 감지 시스템을 거쳐 잠재적으로 저작권이 걸려 있는 상용 음원을 모두 걸러냈다.

구동 환경과 제약 사항

현재 모델 가중치는 Hugging Face에 공개되어 있으며, 기술 논문 역시 arXiv에서 바로 확인할 수 있다.

일반적인 생성 작업은 데스크톱용 그래픽 카드에서도 충분히 돌아간다. 특정 프로젝트 요구에 맞춰 생성 길이나 사운드 특성을 바꾸고 싶다면 NVIDIA A6000 GPU 단일 장비로 로컬 파인튜닝이 가능하다.

라이선스는 Stability AI 커뮤니티 라이선스를 따른다. 비상업적 연구는 물론, 연간 매출 100만 달러 이하의 개인이나 조직이라면 상업적 용도로도 무료로 쓸 수 있다. 이를 초과하는 기업은 별도 엔터프라이즈 라이선스가 필요하다.

다만 한계는 분명하다. Stability AI는 음성 대사 생성이나 완전한 악곡 작곡에는 제약이 따른다는 점을 논문에서 인정했다. 음악보다는 효과음과 질감 사운드 생성에 최적화된 도구다.

왜 중요한가

인디 게임 개발자, 영상 편집자, 사운드 디자이너라면 즉시 작업 파이프라인에 도입해 볼 가치가 있다. 무료 사운드 라이브러리를 뒤지거나 출처가 불분명한 AI 서비스의 저작권 문제를 걱정할 필요 없이, 로컬 환경에서 필요한 사운드를 마음껏 뽑아낼 수 있기 때문이다.

완성형 음악 생성 대신 실무 수요가 높은 효과음 영역에 집중하고, 투명하고 합법적인 데이터만으로 오픈 가중치 모델을 구현했다는 점에서 매우 실용적인 행보다.