SoulX-Singer: 단 몇 초 음성으로 노래 클론, 3GB 미만으로 CPU 구동 지원

누군가의 목소리로 노래를 부르게 하려면 지금까지는 깨끗한 보컬 음원을 대량으로 모아 몇 시간씩 모델을 파인튜닝해야 했다. 하지만 이 진입 장벽이 단숨에 허물어졌다.

Soul-AILab은 제로샷 가창 음성 합성 오픈소스 모델인 'SoulX-Singer'를 공개했다. 핵심 기능은 단순하면서도 강력하다. 몇 초 분량의 말소리 샘플과 참고할 멜로디 음원만 제공하면, 별도의 추가 학습 없이도 해당 목소리로 자연스럽게 노래를 합성해 낸다.

짧은 말소리만 넣으면 생일 축하 노래도 소화

SoulX-Singer의 활용 방식은 매우 직관적이다. 몇 초 동안 낮은 목소리로 책을 읽는 평범한 음성을 입력하고, 흔한 '생일 축하 노래'를 참고 음원으로 넣으면 모델이 그 저음 음색 그대로 생일 축하 노래를 부르는 식이다.

공개된 시연에서는 버락 오바마 전 미국 대통령의 짧은 연설 음성을 넣고 팝 음악을 부르게 한 사례도 포함됐다. 랩이나 헤비메탈 같은 다채로운 보컬 장르에서도 원래 곡의 표현력을 살리면서 타깃 음색을 입혀낸다.

기존 곡을 커버하는 것에 그치지 않고 자작곡 제작에도 쓸 수 있다. 사용자가 직접 멜로디를 흥얼거리거나 노래를 불러 음정 정보(F0)를 추출한 뒤, 원하는 음색을 입혀 부르게 만들 수 있다. 더 정교한 음악 작업을 원한다면 MIDI 음표와 박자를 입력해 음정과 리듬을 직접 제어할 수도 있다.

3GB 미만의 초경량 설계, CPU에서도 로컬 구동

이 프로젝트가 오픈소스 커뮤니티에서 큰 관심을 받는 이유는 극단적인 경량화와 개방성 덕분이다. Soul-AILab은 추론 코드와 가중치를 Apache 2.0 라이선스로 GitHub와 Hugging Face에 완전 공개했다.

학습에는 북경어, 영어, 광둥어로 구성된 4만 2000시간 이상의 보컬, 가사, 악보 정렬 데이터셋이 활용됐다. 덕분에 특정 언어의 일상 대화 샘플을 넣더라도 다른 언어의 노래로 변환해 내는 크로스 링구얼 합성이 매끄럽게 작동한다.

가장 돋보이는 부분은 구동 사양이다. 모델 전체 용량이 3GB 미만이라 고가의 전문 연산 카드가 필요 없다. 저사양 소비자용 GPU는 물론 일반 PC의 CPU에서도 로컬로 바로 실행할 수 있으며, 직관적인 WebUI와 웹 기반 MIDI 편집 툴까지 함께 지원한다.

왜 중요한가

우리는 SoulX-Singer가 인디 창작자와 음악 프로듀서의 작업 방식을 실질적으로 바꿀 잠재력을 지녔다고 본다. 데모 곡을 만들 때 매번 보컬을 섭외할 필요 없이, 가이드 멜로디를 흥얼거린 뒤 원하는 질감의 목소리를 입혀 몇 분 만에 결과물을 확인할 수 있어 시작 비용이 획기적으로 줄어든다.

업계 전반으로 보면, 고품질 가창 합성 기술이 거대 기업의 폐쇄형 클라우드 API를 벗어나 로컬 오픈소스로 안착했음을 보여준다. 4만 시간 이상의 멀티링구얼 데이터를 단 3GB 미만의 경량 모델로 압축해 일반 PC에서 구동 가능하도록 최적화한 점은 매우 영리한 접근이다.

다만 목소리 권리와 저작권 문제는 풀어야 할 숙제다. 인터넷에 공개된 몇 초짜리 육성 클립만으로 누구나 손쉽게 유명인의 목소리를 흉내 낸 노래를 만들 수 있게 된 만큼, 음성 딥페이크와 저작권 분쟁 우려는 필연적으로 뒤따를 것이다. 개발팀이 윤리적 활용을 당부하고 있지만, 이미 가중치가 전 세계 로컬 기기로 배포된 이상 남용을 원천 차단하기는 어려워 보인다.