오픈소스 음악 모델 YuE2-3B 공개: 악보 수정 거쳐 완곡 생성, Suno에 필적

오픈소스 연구 그룹 m-a-p가 보컬과 반주가 포함된 완곡을 생성하는 오픈소스 음악 모델 YuE2-3B를 공개했습니다.

기존 AI 음악 생성기는 프롬프트를 넣으면 곧바로 오디오 파일을 뱉어내는 블랙박스 형태가 대부분이었습니다. 원하는 멜로디나 진행이 나오지 않으면 프롬프트를 고쳐가며 뽑기를 반복해야 했습니다. YuE2는 중간 단계에 편집 가능한 ABC 형식의 악보를 끼워 넣는 방식으로 이 문제를 풀었습니다. 텍스트에서 악보(멜로디, 리듬, 코드 구조)를 먼저 기획한 뒤 최종 음원을 합성합니다.

무엇을 할 수 있나

가사와 장르 스타일 프롬프트를 입력하면 보컬과 악기 반주가 어우러진 48 kHz 스테레오 완곡이 출력됩니다.

중간 생성물인 악보를 사용자가 직접 텍스트로 수정하거나 LLM 에이전트에게 수정을 맡길 수 있습니다. 코드 진행을 재화성화하거나 브릿지에 솔로 악기를 추가하고, 가사와 템포를 바꾼 뒤 원하는 부분만 다시 렌더링하는 작업이 가능합니다.

커버 곡 작업도 지원합니다. SheetSage2 같은 도구로 원곡의 멜로디를 따서 악보로 만든 뒤 YuE2에 다른 스타일 프롬프트를 주면, 징글벨을 헤비메탈로 편곡하거나 대중가요 발라드를 재즈 펑크로 완전히 탈바꿈시킬 수 있습니다.

공식 데모에서는 하나의 곡을 에이전트와 9단계 대화를 거치며 14개 버전으로 수정해, 중국어 팝에서 영어 모던 재즈로 편곡해 나가는 과정을 투명하게 공개하기도 했습니다.

성능과 로컬 실행 조건

모델 내부는 AR 및 NAR 기반 Mixture-of-Transformers 구조로 악보와 의미 토큰을 먼저 생성하고, 플로우 매칭과 VAE를 거쳐 고음질 스테레오 음원을 만들어냅니다.

WildSongBench 평가에서 YuE2(best-of-8)는 평균 6.9632점을 기록해 오픈소스 경쟁작인 MiniMax Music 3와 ACE-Step 1.5를 앞섰으며, 상용 모델인 Suno v5(6.8721)와 Suno v6(6.5562)의 벤치마크 지표까지 넘어섰습니다.

로컬 구동 장벽도 합리적인 편입니다. 양자화 없이도 24GB VRAM을 갖춘 RTX 4090 그래픽카드에서 3.6분짜리 곡을 약 71초 만에 뽑아내며, 피크 VRAM 사용량은 11.2 GiB 수준입니다.

코드와 가중치는 허깅페이스 m-a-p/YuE2-3B 저장소에 전부 공개되어 있으며 pip 명령어로 손쉽게 내려받을 수 있습니다. 직접 빌드하기 전에 품질을 확인하고 싶은 사용자를 위해 계정 없이 참여 가능한 블라인드 청음 평가 웹페이지도 함께 열렸습니다.

왜 중요한가

인디 창작자나 게임 개발자에게 있어 음악 생성이 단순한 프롬프트 뽑기에서 악보를 직접 손보는 프로덕션 단계로 진화했다는 점이 핵심입니다. 음악 이론을 아는 사람은 악보를 직접 고치고, 모르는 사람은 에이전트에게 말로 수정을 지시할 수 있습니다.

우리는 상용 서비스들이 주도하던 고품질 음악 생성 영역에서, 24GB 소비자용 GPU 한 장으로 돌아가면서 제어 권한까지 사용자에게 돌려준 오픈소스 프로젝트가 나왔다는 점을 매우 긍정적으로 봅니다. 작업용 PC에 여유 VRAM이 있다면 지금 바로 로컬에 설치해 테스트해 볼 가치가 충분합니다.