VocalRender: 가사와 MIDI 음표로 48kHz 고음질 가창 음성 직접 생성

VocalRender는 악보 정보를 입력받아 48kHz 고음질 가창 음성을 직접 합성하는 오픈소스 가창 음성 합성 시스템입니다.

기존 보컬 합성 방식은 음소 단위로 길이를 일일이 맞추거나 피치 곡선을 수작업으로 그려 넣어야 하는 번거로움이 있었습니다. VocalRender는 작곡가가 실제로 사용하는 기호 정보인 가사, MIDI 음고, 음표 길이, 템포(BPM)만을 입력으로 사용합니다.

무엇을 할 수 있나

가사와 MIDI 음표, 그리고 원하는 음색을 지정해 줄 2~8초 분량의 깨끗한 참조 음성만 준비하면 됩니다.

모델은 가사 음절과 음표를 인터리브 방식으로 엮어 처리하므로, 한 글자가 여러 음표에 걸쳐 늘어지는 멜리스마 창법도 별도의 정렬 없이 자연스럽게 소화합니다. 내부적으로는 자기회귀 트랜스포머가 전체적인 운율과 호흡 타이밍의 뼈대를 예측하고, 디퓨전 모델이 피치와 음색, 발음의 세부 디테일을 완성해 48kHz 음원을 렌더링합니다.

공개된 가중치는 기본형 VocalRender와 고급형 VocalRender-Pro 두 가지입니다. 두 버전은 동일한 아키텍처를 공유하지만, Pro 버전은 대규모 실제 가창 데이터셋으로 더 오래 학습되어 피치 안정성과 가창 표현력이 한층 뛰어납니다.

실행 방법과 요구 사양

프로젝트는 Apache-2.0 라이선스로 배포되었으며, 데이터 전처리부터 학습, 추론, 평가 코드까지 전부 공개되었습니다.

체크포인트 크기는 약 9.5GB로, 일반적인 소비자용 GPU의 VRAM에서 충분히 구동할 수 있습니다. 저장소를 복제하고 패키지를 설치한 뒤 Hugging Face에서 가중치를 내려받으면, 동봉된 예제 데이터로 설정 변경 없이 즉시 48kHz 샘플 음원을 뽑아볼 수 있습니다.

터미널 작업이 낯선 사용자를 위해 피아노 롤 편집기와 ABC 및 MusicXML 악보 가져오기를 지원하는 Gradio 웹 UI도 기본 제공됩니다. 단, 현재 제공되는 체크포인트는 중국어 데이터셋 중심으로 학습되어 있으므로, 다른 언어로 노래를 합성하려면 공개된 파이프라인으로 자체 데이터를 학습시켜야 합니다.

왜 중요한가

인디 뮤지션이나 작곡가에게 보컬 데모 제작의 진입 장벽을 크게 낮춰줄 수 있는 도구입니다. 가상 보컬 조교에 수 시간을 쏟지 않고도 MIDI 멜로디와 가사, 짧은 레퍼런스 보컬만 있으면 완성도 높은 가창 트랙을 빠르게 얻을 수 있습니다.

정교한 음소 타이밍 예측기를 걷어내고 악보 자체를 입력받는 인터리브 구조와 디퓨전 모델을 결합한 방식은 매우 실용적입니다. 다국어 지원을 위해 직접 학습을 거쳐야 한다는 점을 제외하면, 로컬에서 자유롭게 활용할 수 있는 강력한 보컬 생성 도구로 손색이 없습니다.