오픈소스 음악 생성 AI 'HeartMuLa' 등장, 텍스트와 가사로 완곡 생성

HeartMuLa는 텍스트 스타일 프롬프트와 가사를 입력하면 보컬과 반주가 합쳐진 완곡을 로컬 환경에서 한 번에 만들어 주는 새로운 오픈소스 음악 파운데이션 모델입니다.

여러 툴을 오가며 파트를 이어 붙일 필요 없이 한 번에 한 곡을 통째로 뽑아냅니다. 현재 약 16GB 용량의 30억 파라미터(3B) 버전 가중치가 공개되었으며, GitHub와 Hugging Face에 코드 및 설명서가 올라와 있고 논문 역시 arXiv에 게재되었습니다.

곡을 완성하는 기술적 구조

기존 오픈소스 음악 모델들은 음질이 뭉개지거나 곡 중간에 멜로디 흐름을 잃어버리는 문제가 잦았습니다. HeartMuLa는 네 가지 모듈을 유기적으로 결합해 이 문제를 풀었습니다.

오디오와 텍스트를 정렬하는 HeartCLAP, 실전 음악 환경에 맞춘 가사 인식 모델 HeartTranscriptor, 그리고 12.5Hz 초저프레임으로 동작하면서도 원음의 세부 묘사를 유지하는 HeartCodec이 핵심입니다.

이 기반 위에서 거대언어모델 기반의 HeartMuLa가 스타일 설명과 가사를 바탕으로 곡 전체를 자귀회귀 방식으로 작곡합니다. 도입부, 절, 후렴구 등 각 섹션마다 프롬프트를 다르게 주는 세부 제어 모드와 쇼츠용 배경음악 생성 모드도 지원합니다.

실제 완성도와 한계

HeartMuLa의 가장 큰 강점은 멜로디 일관성과 또렷한 보컬 분리도입니다. 이전 파트의 멜로디를 기억하기 때문에 곡이 진행되어도 모티프가 무너지지 않고 안정적인 곡 구조를 유지합니다.

언어는 영어, 중국어, 일본어, 한국어, 스페인어 등을 폭넓게 지원합니다. 논문에 따르면 가사 인식 정확도와 오류율 측면에서는 상용 폐쇄형 모델인 Suno V5를 앞섰으며, 전반적인 음질과 음악적 완성도 역시 상용 톱티어 수준에 근접했습니다.

물론 한계도 있습니다. 입력하는 가사의 운율이나 구조가 지나치게 불균형하면 후렴구를 과도하게 길게 늘어뜨리면서 리듬이 흐트러지는 현상이 발생합니다. 작사 단계에서 대칭적인 구조를 잡아주는 작업이 필요합니다.

하드웨어는 16GB 크기의 가중치를 올릴 수 있는 충분한 VRAM이 필요하며, 더 높은 품질의 7B 버전도 곧 배포될 예정입니다.

왜 중요한가

HeartMuLa는 인디 창작자와 개발자가 매달 유료 API 비용을 내지 않고도 로컬에서 상용급 음악 생성 파이프라인을 구축할 수 있게 해줍니다.

학술 수준의 데이터와 컴퓨팅 자원으로도 Suno 수준의 시스템을 재현할 수 있음을 증명했다는 점이 핵심입니다. 폐쇄형 플랫폼의 정책이나 제한에 얽매이지 않고 자유롭게 음악 생성 워크플로를 커스텀하고 싶다면, 지금 바로 GitHub에서 내려받아 테스트해 볼 가치가 충분합니다.