스태빌리티 AI, '스테이블 오디오 3.0' 공개…오픈 가중치로 온디바이스 완곡 작곡 지원

스테이블 오디오 3.0(Stable Audio 3.0)은 모델 가중치를 내려받아 내 기기에서 직접 구동할 수 있는 최신 음악 및 효과음 생성 모델 제품군입니다. PC나 모바일 기기에서 오프라인 상태로 최장 6분 20초 분량의 완성된 음악을 작곡하거나 게임용 효과음을 자유롭게 만들어낼 수 있습니다.

이번 배포의 핵심은 오픈 가중치와 저작권 해결입니다. 스태빌리티 AI는 발표한 4개 모델 중 3개 가중치를 허깅페이스에 공개했습니다. 전체 제품군이 정식 라이선스를 취득한 데이터로만 학습되어 사용자가 생성물에 대한 온전한 소유권을 가지며, 연 매출 100만 달러 미만 팀은 커뮤니티 라이선스를 통해 상업적 프로젝트에 무료로 활용할 수 있습니다.

모델 구성과 주요 기능

스테이블 오디오 3.0은 하드웨어 성능과 작업 목적에 맞춰 4단계로 구성되어 있습니다.

가장 가벼운 모델은 459M 파라미터 크기의 스몰 SFX(Small SFX)와 스몰(Small)입니다. 모바일 기기와 보급형 노트북 등 온디바이스 환경에 맞춰 최적화되었습니다. 스몰 SFX는 효과음 전용이며, 스몰은 단말기 자체에서 완곡을 작곡할 수 있는 모델로 최장 2분 생성을 지원합니다. 이전 버전인 스테이블 오디오 오픈이 47초, 소형 변형 모델이 11초에 그쳤던 것과 비교하면 실사용 가치가 대폭 올라갔습니다.

멜로디의 전개와 악기 편성의 완성도를 높이고 싶다면 1.4B 파라미터의 미디엄(Medium) 모델이 적합합니다. 팝 음악 완곡에 준하는 최장 6분 20초까지 일관된 구조를 유지하며 생성해냅니다.

최상위 2.7B 파라미터의 라지(Large) 모델은 지연 시간이 짧고 음질이 가장 우수하지만 가중치가 공개되지 않으며, 공식 API 및 기업용 자체 호스팅 솔루션으로만 제공됩니다.

아키텍처 개선과 활용법

긴 오디오를 어색한 끊김 없이 길게 뽑아내는 기술적 핵심은 새로운 시맨틱-어쿠스틱 오토인코더(semantic-acoustic autoencoder)입니다.

고정된 길이 단위로만 오디오를 생성하던 한계를 넘어, 초 단위로 길이를 지정하는 가변 길이 생성을 지원합니다. 28초짜리 영상 배경음악이 필요하다면 정확히 28초 길이로 뽑아낼 수 있습니다.

오디오 인페인팅 기능도 강화되었습니다. 곡 중간의 특정 파트만 골라 다시 생성하거나, 여러 구간을 동시에 수정하고, 기존 음원의 끝부분을 자연스럽게 이어 늘리는 연속 생성이 가능합니다.

개발자와 창작자를 위한 미세조정 편의성도 높였습니다. 스몰과 미디엄 모델용 LoRA 학습 가이드 문서가 함께 공개되어, 적은 VRAM으로도 자신만의 오디오 샘플 라이브러리를 학습시켜 커스텀 사운드를 구축할 수 있습니다.

스몰 SFX, 스몰, 미디엄 모델은 지금 허깅페이스에서 가중치를 받아 ComfyUI 등의 파이프라인에 얹어 쓸 수 있으며, 클라우드 환경을 원한다면 공식 API를 이용하면 됩니다.

왜 중요한가

인디 게임 개발자, 영상 크리에이터, 사운드 디자이너에게 스테이블 오디오 3.0은 저작권 분쟁 걱정 없이 안전하게 쓸 수 있는 강력한 오픈소스 도구입니다. 주요 생성형 음악 서비스들이 음반사들과 법적 공방을 벌이는 상황에서, 워너 뮤직 및 유니버설 뮤직과의 협업을 거쳐 합법적 라이선스 데이터로만 모델을 구축하고 상용화 권리까지 명시한 점은 실무 도입을 위한 가장 큰 메리트입니다.

상용 클라우드 모델에 비하면 파라미터가 작은 온디바이스 모델의 사운드 밀도는 다소 가벼울 수 있습니다. 하지만 내 장비에서 완전한 오프라인으로 곡 전체를 작곡하고, LoRA 미세조정과 인페인팅으로 원하는 소리를 끝까지 다듬을 수 있는 작업 환경이 열렸다는 점에서 바로 내려받아 테스트해 볼 가치가 충분합니다.