Stability AI와 Arm, 온디바이스 오디오 모델 오픈소스 공개… 스마트폰서 8초 만에 생성

Stable Audio Open Small은 Stability AI와 Arm이 협력해 선보인 경량 텍스트-오디오 모델입니다. 클라우드 서버에 연결할 필요 없이, 스마트폰의 Arm CPU에서 텍스트 프롬프트만으로 스테레오 효과음을 직접 생성합니다.

기능과 사양

이 모델은 짧은 오디오 샘플과 사운드 디자인 소스를 빠르게 만드는 데 맞춰 설계되었습니다. 텍스트를 입력하면 드럼 루프, 앰비언스 배경음, 폴리 효과음, 짧은 악기 연주 등을 생성해 냅니다.

한 번에 최대 11초 길이의 오디오를 생성할 수 있으며 스테레오 출력을 지원합니다. Stability AI는 현재 시장에 공개된 스테레오 텍스트-오디오 모델 중 가장 빠른 생성 속도를 갖췄다고 밝혔습니다.

기존 Stable Audio Open이 11억 개 매개변수를 가졌던 데 비해, 이번 Small 버전은 3억 4,100만 개로 크기를 크게 줄였습니다. 모델 부피를 대폭 덜어내면서도 음향 품질과 프롬프트 반영 성능은 그대로 유지했습니다.

구동 방식과 배포 정보

가장 눈에 띄는 점은 모바일 GPU나 별도 NPU를 요구하지 않고 일반 Arm CPU에서 바로 돌릴 수 있도록 최적화했다는 점입니다. Arm의 KleidiAI 라이브러리를 기반으로 프로세서 자원을 효율적으로 끌어씁니다.

실제 Arm 기반 스마트폰 환경에서 11초 분량의 오디오를 생성하는 데 8초도 채 걸리지 않습니다. 모델 크기가 작은 만큼 특정 음향 데이터셋을 활용한 파인튜닝도 훨씬 빠르고 저렴하게 마칠 수 있습니다.

라이선스 조건도 개방적입니다. Stability AI Community License가 적용되어 상업적 및 비상업적 목적 모두 무료로 활용할 수 있습니다. 모델 가중치는 Hugging Face, 소스코드는 GitHub, 논문은 arXiv에 각각 올라왔으며, Arm Learning Path 가이드를 통해 실제 기기 배포 과정을 따라 해볼 수 있습니다.

왜 중요한가

모바일 게임이나 영상 편집 앱을 만드는 개발자에게 실질적인 이점을 제공합니다. 실시간 효과음 생성을 위해 비싼 클라우드 API를 호출하거나 네트워크 지연을 감수할 필요 없이, 기기 자체에서 오프라인으로 음원을 생성할 수 있기 때문입니다.

긴 음악 트랙 생성은 클라우드 모델이 담당하고, 즉각적인 단편 효과음 처리는 기기 CPU가 맡는 식의 엣지 AI 분업 구조가 한층 현실적인 선택지로 자리 잡고 있습니다.