Stability AI, Arm과 협력해 스마트폰서 오프라인 오디오 생성 지원

모바일 영상 편집 중 바람 소리나 문 닫히는 효과음이 필요할 때, 지금까지는 효과음 사이트를 뒤지거나 클라우드 AI 서버에 프롬프트를 보내고 기다려야 했습니다. 비행기 안이거나 데이터가 안 터지는 곳이라면 아예 쓸 수도 없었습니다.

이제 이 작업이 스마트폰 안으로 완전히 들어옵니다. 3월 3일, Stability AI는 Arm과의 협력을 발표하고 텍스트 기반 오디오 생성 오픈 모델인 Stable Audio Open을 인터넷 연결 없이 스마트폰에서 직접 구동하는 기술을 공개했습니다. 스페인에서 열린 MWC 바르셀로나 현장에서 실제 시연도 진행되었습니다.

240초에서 8초 미만으로, 모바일 CPU의 반전

생성형 오디오 모델을 온디바이스 환경에 얹는 과정은 결코 쉽지 않았습니다. 초기 단계에서 Arm CPU로 Stable Audio Open을 돌렸을 때는 소리 하나를 만드는 데 무려 240초, 즉 4분이나 걸려 실용성이 전혀 없었습니다.

해결을 위해 Stability AI는 모델 경량화(증류)를 진행했고, Arm의 소프트웨어 스택을 대거 투입했습니다. ExecuTorch 프레임워크 내에서 XNNPack을 통해 Arm KleidiAI의 int8 행렬 곱셈 커널을 최적화한 것입니다.

그 결과 Armv9 CPU 환경에서 11초 분량의 고품질 오디오를 생성하는 시간이 8초 미만으로 줄어들었습니다. 무려 30배 빨라진 수치입니다.

인상적인 대목은 별도의 전용 NPU가 아니라 범용 Arm CPU만으로 이 속도를 구현했다는 점입니다. Stability AI는 오디오를 시작으로 향후 이미지, 비디오, 3D 생성 모델까지 엣지 기기로 확장하겠다고 밝혔습니다.

왜 중요한가

모바일 콘텐츠 제작자나 인디 게임 개발자에게는 즉각적인 효용을 줍니다. 통신이 불안정한 야외나 비행기 안에서도 필요한 배경음과 효과음을 단 몇 초 만에 직접 만들어 넣을 수 있고, 클라우드 API 호출 비용도 아낄 수 있습니다.

모바일 AI 시장 전체로 봐도 의미가 큽니다. 그동안 온디바이스 AI 경쟁은 텍스트 요약이나 사진 지우개 기능에 갇혀 있었고, 음원이나 미디어 생성은 연산 부담 때문에 클라우드의 영역으로 여겨졌습니다. 이번 협업은 CPU라도 하부 소프트웨어 커널만 제대로 다듬으면 고난도 미디어 생성을 충분히 소화할 수 있음을 보여줬습니다.

우리가 보기에 Stability AI가 Arm과 손을 잡은 것은 매우 현실적이고 영리한 전략입니다. 전 세계 스마트폰의 99%에 들어가는 Arm 아키텍처와 KleidiAI 생태계를 활용하면, 제조사마다 제각각인 NPU 개발 키트를 일일이 맞추지 않고도 단숨에 광범위한 기기에 모델을 뿌릴 수 있기 때문입니다.

다만 완전한 상용화까지는 넘어야 할 산이 있습니다. 11초 오디오를 만드는 데 8초가 걸리는 속도는 쓸 만하지만 여전히 실시간 스트리밍 생성에는 못 미칩니다. 얇은 스마트폰에서 CPU 풀로드를 걸어 int8 연산을 반복했을 때 발열과 배터리 소모를 얼마나 버텨낼 수 있을지가 실제 사용자 경험을 가를 핵심 변수로 보입니다.