ACE-Step 1.5 오픈소스 공개: 4GB VRAM으로 로컬 음악 생성 가능

ACE-Step 1.5는 ACE Studio와 StepFun이 공동으로 오픈소스 공개한 음악 파운데이션 모델로, 텍스트 프롬프트를 입력하면 완성도 높은 음악을 로컬 PC에서 바로 생성해 준다.

가장 큰 장점은 뛰어난 경량화다. 4GB 미만의 VRAM 환경에서도 작동하며, 소비자용 그래픽카드인 RTX 3090에서 곡 하나를 완성하는 데 10초가 채 걸리지 않는다. A100 환경에서는 2초 이내에 생성이 끝난다.

무엇을 할 수 있나

단순한 텍스트 기반 작곡뿐만 아니라 커버곡 생성, 오디오 리페인팅, 보컬 추출 후 반주 생성 등 다양한 편집 기능을 두루 지원한다. 짧은 루프 음원부터 최대 10분에 이르는 장편 구성까지 작업이 가능하며 50개 이상의 언어를 인식한다.

커뮤니티에서는 공개된 데모 음원의 품질이 상용 서비스인 Suno v4에 근접한다는 평가가 나온다. 또한 MIT 라이선스를 채택했고, 정식 라이선스 계약 음원과 퍼블릭 도메인, 고품질 합성 MIDI 데이터를 기반으로 학습했기 때문에 상업적 프로젝트에도 저작권 우려 없이 투입할 수 있다.

구조와 실행 방법

기술적으로는 언어 모델과 디퓨전 트랜스포머를 결합한 하이브리드 구조를 취했다. Qwen3 기반의 소형 언어 모델이 플래너 역할을 맡아 사용자의 요구사항을 메타데이터와 가사, 곡 구조가 포함된 청사진으로 먼저 풀어낸다.

이후 DiT 모델이 실제 음향을 합성해 낸다. 8스텝 샘플링만으로 고품질 음원을 뽑아내는 Turbo 모델이 포함되어 있으며, 외부 보상 모델 대신 자체적인 강화학습 메커니즘을 적용해 출력의 일관성을 높였다.

사용성도 간편하다. 모델 가중치와 코드는 Hugging Face와 ModelScope에 올라와 있어 Transformers 파이프라인으로 손쉽게 불러올 수 있다. 별도의 고성능 그래픽카드가 없는 환경을 위해 Google Colab과 웹 데모 공간도 함께 제공된다.

왜 중요한가

인디 게임 개발자나 영상 창작자 입장에서는 매월 고가의 클라우드 구독료를 내지 않고도 저작권이 확실한 음악을 무제한으로 만들 수 있는 강력한 작업 도구가 생긴 셈이다.

우리는 ACE-Step 1.5가 거대 모델 경쟁 대신 4GB VRAM이라는 현실적인 구동 환경과 법적 안전성에 집중한 점을 높게 평가한다. 음악 생성 인공지능의 무게중심을 클라우드 API에서 개인 데스크톱으로 옮겨오며 상용 서비스들에게 분명한 위협이 될 것으로 보인다.