Stable Audio 2.0 출시: 3분 완곡 생성 및 오디오 변환 지원

지금까지의 AI 음악 생성 도구는 10여 초짜리 짧은 루프를 만드는 데 그쳐, 완결된 형태의 곡을 뽑아내기에는 한계가 뚜렷했습니다.

Stability AI는 자연어 프롬프트 하나로 최대 3분 길이의 44.1kHz 스테레오 완곡을 제작할 수 있는 'Stable Audio 2.0'을 정식 공개했습니다.

U-Net 대신 DiT 도입, 3분 곡 구조 완성

Stable Audio 2.0의 가장 큰 특징은 음악적 서사입니다. 도입부부터 전개, 마무리까지 이어지는 완전한 곡 구조를 갖춘 트랙을 생성해 냅니다.

이를 위해 아키텍처를 대대적으로 뜯어고쳤습니다. 이전 세대에서 활용하던 U-Net 구조를 버리고, Stable Diffusion 3와 유사한 DiT(Diffusion Transformer) 기반 잠재 확산 모델을 채택했습니다. 여기에 초압축 오토인코더를 결합해 긴 시간 축에서도 안정적으로 데이터를 제어할 수 있도록 했습니다.

텍스트 기반 생성뿐만 아니라 '오디오 투 오디오' 기능도 새롭게 지원합니다. 이용자가 샘플 음원을 업로드한 뒤 프롬프트로 스타일 전환을 지시하면 전혀 다른 톤과 분위기의 사운드로 가공할 수 있습니다. 멜로디와 반주 분리 생성은 물론 타자 소리, 군중 함성 같은 환경 효과음 제작도 지원합니다.

저작권 문제에도 신경을 썼습니다. AudioSparx의 80만 개 이상 라이선스 음원 데이터만을 학습에 활용했으며 아티스트의 학습 제외 요청 권리를 보장했습니다. 이용자가 업로드하는 음원의 무단 도용을 막기 위해 Audible Magic의 음향 인식 기술도 실시간으로 적용했습니다. 현재 웹사이트에서 무료로 써볼 수 있으며 조만간 API도 오픈될 예정입니다.

왜 중요한가

우리는 Stable Audio 2.0이 AI 사운드를 단순한 장난감에서 실무용 프로덕션 툴로 격상시킨 움직임이라고 봅니다.

영상 제작자나 인디 게임 개발자에게 기승전결이 있는 3분짜리 배경음악을 라이선스 분쟁 걱정 없이 바로 얻을 수 있다는 점은 엄청난 작업 효율을 의미합니다. 직접 흥얼거린 멜로디를 올려 오케스트라 편곡으로 바꾸는 작업 등이 가능해지면서 창작의 진입장벽도 눈에 띄게 낮아졌습니다.

특히 저작권 분쟁이 격화되는 생성 AI 시장에서 정식 라이선스 계약을 맺은 음원으로만 학습하고 필터링을 얹은 방식은 상업적 활용을 고려하는 기업들에게 꽤 안전한 선택지로 다가올 것입니다.

물론 생성된 음악이 인간 작곡가 특유의 정교한 감정선이나 미묘한 다이내믹까지 완전히 대체할 수 있을지는 더 지켜봐야 합니다. 하지만 실용적인 BGM과 사운드 에셋 제작 관점에서는 이미 새로운 기준점을 세운 것으로 보입니다.