일레븐랩스, 음악 생성 AI에 오디오 참조 기능 ‘레퍼런스’ 도입

텍스트로 음악의 분위기를 AI에게 설명하는 일은 늘 한계가 있습니다. 아무리 프롬프트에 형용사를 길게 늘어놓아도, 머릿속에 있는 베이스 질감이나 드럼 톤을 정확히 끄집어내기는 어렵기 때문입니다.

ElevenLabs가 7월 23일 자사 음악 생성 모델인 Music v2에 새로운 제어 기능인 References를 추가했습니다. 말로 묘사하는 대신 실제 오디오 파일을 올려 AI에게 음악적 레퍼런스를 직접 전달하는 방식입니다.

10초짜리 오디오로 음악의 결을 전달한다

References의 작동 방식은 직관적입니다. 사용자가 기존 트랙을 업로드하면, Music v2가 해당 파일의 장르적 스타일, 악기 구성, 전반적인 분위기를 파악해 그에 맞춘 새로운 곡을 만듭니다.

업로드 가능한 오디오 길이는 최소 10초에서 최대 5분까지입니다. 레퍼런스 트랙만 단독으로 넣어 결과물을 유도할 수도 있고, 텍스트 프롬프트와 조합해 특정한 사운드 질감에 새로운 음악적 방향성을 더할 수도 있습니다.

이 기능은 일반 이용자를 위한 ElevenMusic은 물론, 협업용 ElevenCreative, 그리고 개발자가 자체 제품에 연동할 수 있는 ElevenAPI 전반에 즉시 적용되었습니다.

남의 노래는 차단, 엄격한 저작권 필터

기존 음원을 바탕으로 AI가 음악을 만들 때 가장 민감한 문제는 단연 저작권입니다. ElevenLabs는 생성 단계 앞에 자동화된 저작권 검사 절차를 배치했습니다.

업로드된 모든 레퍼런스 음원은 생성이 시작되기 전 타인의 상업용 녹음물과 일치하는지 대조 과정을 거칩니다. 기존 아티스트의 음원과 매칭되면 레퍼런스로 사용하는 것이 즉각 차단됩니다. 자작곡이나 직접 만든 샘플을 기반으로 작업하는 창작자들을 위한 안전장치입니다.

왜 중요한가

이미지 생성 AI가 텍스트 입력에서 이미지 레퍼런스 참조로 넘어가며 상용 수준의 제어력을 얻었듯, 음악 AI 역시 텍스트 프롬프트의 한계를 벗어나는 수순을 밟고 있습니다.

창작자 입장에서 이는 작업 피로도를 크게 낮춰주는 변화입니다. 자신이 연주한 30초짜리 기타 리프나 데모 음원을 그대로 올려 편곡 방향을 잡아갈 수 있기 때문에, 단어를 조합하며 원치 않는 결과물을 수십 번 뽑아볼 필요가 없어집니다.

우리는 ElevenLabs가 저작권 검증을 생성의 선결 조건으로 박아둔 점을 영리한 수순으로 봅니다. 현재 글로벌 음반 업계가 AI 음악 도구들의 저작권 침해를 강하게 압박하는 상황에서, 타인의 음원 복제를 허용했다면 즉각적인 법적 분쟁에 휘말렸을 가능성이 높습니다. 기업과 전문 스튜디오를 고객으로 끌어들이려면 이러한 컴플라이언스 정리가 필수적입니다.

다만 검사 알고리즘의 오탐 가능성은 지켜볼 대목입니다. 창작자가 직접 만든 인디 음악이나 흔한 코드 진행이 기존 상업 음원으로 잘못 판별되어 차단될 경우 이용자 경험이 크게 훼손될 수 있습니다. 그럼에도 사운드를 사운드로 직접 지시하는 방식은 향후 AI 작곡 툴의 기본 표준으로 자리잡을 것으로 보입니다.