악보 전용 시각 모델 MuSViT: 970만 쪽 학습해 오선보와 기보법 독해

AI는 사실적인 그림을 그리고 텍스트 한 줄로 웅장한 오케스트라 음악을 생성할 수 있습니다. 하지만 베토벤 소나타 악보를 사진으로 찍어 보여주면 대부분의 멀티모달 모델은 전혀 갈피를 잡지 못합니다.

일반 비전 모델에게 악보는 복잡한 흑백 선과 점의 나열에 불과합니다. 음표 머리가 반 칸만 올라가도 음고가 바뀌고, 기둥의 방향이나 이음줄 하나에 박자와 음악적 의미가 완전히 달라지는 구조를 읽어내지 못하기 때문입니다.

연구진은 악보 이해를 위한 최초의 시각 파운데이션 모델 MuSViT(Music Score Vision Transformer)를 공개했습니다.

악보의 빈칸을 채우며 음악 문법을 익히다

기존 광학 악보 인식(OMR) 기술은 엄격한 규칙이나 소규모 라벨 데이터에 의존해 왔습니다. 이 때문에 인쇄 상태가 불량하거나 낯선 기보법을 만나면 인식 성능이 급격히 떨어지는 한계가 있었습니다.

MuSViT는 파운데이션 모델의 방식을 악보에 적용했습니다. 국제 악보 도서관 프로젝트(IMSLP)에서 약 40만 개 작품에 달하는 970만 쪽의 악보 데이터를 모아 사전 학습을 진행했습니다.

학습 방식으로는 마스크 이미지 모델링(MIM)을 활용했습니다. 원본 악보 이미지의 상당 부분을 가린 뒤, 모델이 가려진 부분을 스스로 복원하도록 만든 것입니다.

학습 효율을 높이기 위해 정돈된 합성 악보로 기초를 다진 뒤 대규모 IMSLP 스캔본을 학습하는 2단계 커리큘럼을 적용했습니다.

가려진 곳을 복원하는 훈련을 거치며 모델은 오선보의 간격, 음표 간의 상관관계, 조표와 박자표 등 악보의 문법적 구조를 스스로 체득했습니다.

범용 비전 모델을 뛰어넘는 기호 이해력

연구진은 MuSViT의 성능을 전면 악보 인식, 오선보 단위 전사, 음악 기호 검출, 악보 난이도 분류 등 4가지 다운스트림 과제에서 검증했습니다.

사전 학습된 인코더를 고정하고 분류기만 얹어 평가하는 선형 탐색 테스트에서, MuSViT는 최신 범용 비전 모델들을 압도적인 격차로 따돌렸습니다.

규모가 아무리 큰 범용 비전 모델이라도 악보 특유의 기호 구조를 전혀 파악하지 못하고 있었던 반면, MuSViT는 잠재 벡터 공간 안에 악보 구조를 그대로 담아냈습니다.

이후 과제별 미세 조정을 거쳤을 때도 기존 최고 수준의 특화 모델들을 뛰어넘는 성능을 기록했습니다.

왜 중요한가

MuSViT는 디지털 음악 아카이브 분야의 고질적인 병목을 뚫어냈다는 점에서 주목할 만합니다.

전 세계 도서관에는 수백만 쪽의 역사적 악보가 스캔 이미지 상태로 잠들어 있습니다. 이를 검색 가능하고 연주 가능한 디지털 데이터(MusicXML이나 MIDI)로 바꾸는 작업은 막대한 수작업 비용 때문에 지체되어 왔습니다. MuSViT는 이러한 악보 디지털화의 탄탄한 기술적 토대가 될 수 있습니다.

음악 교육자나 개발자 입장에서도 매번 불안정한 소형 비전 모델을 새로 만들 필요 없이, 완성도 높은 악보 인식 인프라를 활용할 수 있게 되었습니다.

산업적으로는 범용 파운데이션 모델 만능주의의 한계를 보여줍니다. 악보나 회로도, CAD 도면처럼 고도로 구조화된 기호 영역에서는 전용 시각 백본이 여전히 필수적이라는 점을 증명한 셈입니다.

다만 MuSViT는 현재 시각적 특징을 추출하는 인코더 단계이며, 일반 사용자가 즉시 연주 파일로 변환할 수 있는 완성형 서비스는 아닙니다. 이 모델이 생성형 언어 모델과 결합해 어떤 실용적인 도구로 진화할지 지켜볼 필요가 있습니다.