일레븐랩스, 세상에 없던 목소리 직접 만드는 '음성 디자인' 기능 발표

텍스트 생성과 이미지 생성 AI가 전 세계적인 주목을 받는 동안, 음성 생성 분야는 상대적으로 덜 조명받았습니다. 하지만 오디오북을 제작하거나 인디 게임을 개발할 때 쓸 만한 음성을 찾는 일은 늘 골칫거리였습니다. 기본 제공 음성은 개성이 없고, 성우를 기용하기에는 비용 부담이 큽니다.

음성 AI 스타트업 ElevenLabs는 1월 11일, 세상에 존재하지 않는 완전히 새로운 합성 음성을 처음부터 만들어낼 수 있는 생성형 음성 모델을 발표했습니다. 이 기능은 'Design Voice'라는 이름으로 2월 중 플랫폼의 Voice Lab을 통해 공개될 예정입니다.

슬라이더를 조절해 새로운 목소리를 설계하다

기존의 음성 AI는 정해진 목소리 목록에서 하나를 고르거나, 실제 사람의 목소리를 녹음해 복제하는 방식이 대부분이었습니다. 전자는 다른 콘텐츠와 목소리가 겹치기 쉽고, 후자는 저작권과 윤리적 논란에서 자유롭지 못합니다.

ElevenLabs는 음성의 고유한 특징을 나타내는 벡터 데이터인 화자 임베딩(speaker embeddings) 분포에서 직접 샘플링하는 전용 모델을 훈련시켰습니다. 이를 통해 이론상 무한대에 가까운 새로운 목소리를 만들어낼 수 있게 되었습니다.

사용자는 성별, 나이, 억양, 음높이, 말하기 스타일과 같은 기본 매개변수만 설정하면 됩니다. 흥미로운 점은 동일한 조건을 설정하고 생성 버튼을 누르더라도 매번 현실에 존재하지 않던 고유한 목소리가 새로 생성된다는 점입니다.

이 기능이 도입되면 인디 게임 개발자는 저렴한 비용으로 대사 없는 수많은 NPC에게 각기 다른 목소리를 입힐 수 있습니다. 오디오북 작가는 책 전체를 아우르는 전용 내레이터를 가질 수 있고, 기업이나 언론사는 다른 곳에서 쓰이지 않는 독점적인 브랜드 보이스를 확보할 수 있습니다.

성우들의 일자리 위협 우려에 대해 ElevenLabs는 성우가 자신의 음성 모델을 라이선스하고 수익을 배분받는 구조를 마련하겠다고 밝혔습니다. 아울러 악용 방지를 위해 생성된 음성을 즉시 추적할 수 있는 오디오 워터마킹 기술도 개발 중입니다.

왜 중요한가

우리는 ElevenLabs의 이번 시도가 매우 실용적이고 영리한 방향 전환이라고 봅니다.

창작자와 소규모 개발사 입장에서 즉각적인 가치가 큽니다. 실제 사람의 목소리를 복제할 때 발생하는 법적 분쟁이나 도용 위험을 피할 수 있고, 진부한 기본 음성 라이브러리에서 벗어나 독점적인 사운드를 확보할 수 있기 때문입니다. 전문 녹음 환경을 갖추기 어려웠던 1인 창작자들에게 진입 장벽을 대폭 낮춰줍니다.

산업 측면에서는 음성 AI 시장의 판도가 기존 텍스트 음성 변환(TTS) 경쟁에서 본격적인 생성형 모델 경쟁으로 넘어가는 계기가 될 것입니다. 정적인 라이브러리를 늘리는 방식 대신 무한히 생성 가능한 파라미터 방식을 택하면서 기존 음성 솔루션들도 생성형 전환을 서두를 것으로 보입니다.

다만 무제한으로 생성되는 가짜 목소리가 악용될 가능성은 여전히 숙제로 남습니다. 회사 측이 워터마크 기술과 약관을 안전장치로 내세웠지만, 정교하게 합성된 음성이 온라인에 유통될 때 얼마나 확실하게 추적되고 통제될 수 있을지는 지속적으로 지켜봐야 할 대목입니다.