Mirelo·Kyutai, 음원 전체서 악기별 MIDI 분리 추출하는 'MuScriptor' 오픈소스 공개

MuScriptor는 Mirelo와 Kyutai가 공동 개발해 오픈소스로 공개한 다중 악기 오디오-MIDI 변환 모델입니다. 완성된 음악 파일을 입력하면 보컬, 드럼, 베이스, 건반 등 다양한 악기를 자동으로 식별해 각 악기별 독립된 MIDI 트랙으로 분리 추출해 줍니다.

기존의 오디오-MIDI 변환 도구들은 보컬 솔로나 피아노 단독 연주처럼 단일 악기 트랙을 처리하는 데 머무는 경우가 대부분이었습니다. 여러 악기가 뒤섞이고 리버브 등 음향 효과가 걸린 실제 완곡 믹싱 음원에서는 제대로 작동하지 못했습니다. MuScriptor는 사전에 개별 트랙(stem)으로 쪼갤 필요 없이, 믹싱된 전체 음원을 곧바로 분석해 모든 악기를 동시에 전사합니다.

무엇을 할 수 있나

사용자는 WAV나 MP3 형태의 완곡 음원을 그대로 업로드하면 됩니다.

모델이 재생 중인 악기를 파악한 뒤 보컬, 드럼, 베이스, 건반 트랙을 각각 분리된 MIDI 파일로 만들어 줍니다. 이를 DAW(작곡 프로그램)로 가져와 가상악기를 바꾸거나 편곡에 바로 활용할 수 있고, 악기 파트를 연습하기 위한 악보 형태로도 확인할 수 있습니다.

개별 음표 외에도 코드(화음), 키(조성), 템포를 함께 감지하므로 프로듀서가 곡의 음악적 맥락을 파악하기 수월합니다.

구현 방식과 성능

MuScriptor는 음악 전사를 언어 모델링 문제로 접근하여 디코더 전용(decoder-only) 트랜스포머 구조를 사용합니다.

5초 단위의 오디오 멜-스펙트로그램을 입력 조건으로 받아 음정, 타이밍, 악기 정보를 담은 이산 토큰을 자기회귀 방식으로 출력합니다. 다중 악기 변환에서 가장 큰 난제였던 정답 데이터 부족을 해결하기 위해 합성 데이터 사전 학습(DSynth), 실제 음원 미세조정(DReal), 강화학습 사후학습(DRL)의 3단계 훈련 방식을 도입했습니다.

연구팀에 따르면 합성 데이터만으로도 기존 최고 수준 오픈 모델인 YourMT3+에 필적하는 성능을 냈으며, 실제 음원으로 파인튜닝하면서 주요 지표가 약 20%포인트 상승했습니다. 이후 고품질 데이터 기반 강화학습을 거쳐 최종적인 정확도를 끌어올렸습니다. 특정 편성 악기에 맞춰 출력을 제어할 수 있는 악기 조건화 기능도 지원합니다.

이용 방법

추론 코드는 GitHub에, 가중치는 Hugging Face에 공개되었으며 연구 세부 내용은 arXiv 논문에서 확인할 수 있습니다.

로컬 개발 환경을 직접 세팅하지 않고 써보고 싶다면, 더 방대한 데이터로 추가 학습된 상위 버전이 Mirelo Studio 웹 서비스에 무료로 탑재되어 있어 브라우저에서 바로 음원을 올려 MIDI로 변환해 볼 수 있습니다.

왜 중요한가

곡 카피나 샘플링, 리믹스 작업을 하는 프로듀서에게 완곡 상태에서 각 악기의 MIDI를 곧바로 뽑아내는 기능은 작업 시간을 획기적으로 줄여주는 도구입니다. 복잡한 오디오 분리 과정을 거치지 않아도 DAW 작업용 시퀀스를 손쉽게 얻을 수 있습니다.

음악 전사 문제를 언어 모델 구조와 강화학습으로 풀어낸 방식은 매우 실용적이며 영리한 접근입니다. 과도한 이펙트나 복잡한 신시사이저 레이어링에서는 일부 오차가 생길 수 있겠지만, 작곡가나 연주자라면 당장 워크플로에 도입해 볼 가치가 충분합니다.