일레븐랩스, X 계정으로 고유 음성 만드는 'X to Voice' 공개

일레븐랩스가 공개한 오픈소스 프로젝트 'X to Voice'는 X(구 트위터) 계정 아이디만 입력하면 사용자의 소개글과 게시물 스타일을 분석해 어울리는 고유 AI 음성을 만들어 주는 도구다.

어떤 기능을 제공하나

X 사용자 이름을 입력하면 시스템이 계정의 프로필 소개글과 과거 게시물을 자동으로 긁어와 작성 스타일과 성향을 분석한다.

이 분석을 기반으로 음조, 음색, 발화 속도, 억양 등을 세밀하게 묘사한 텍스트 프롬프트를 자동 작성한 뒤, 일레븐랩스의 Voice Design 모델로 전송해 음성을 합성한다.

가젯360(Gadgets 360)의 실측 결과에 따르면 전체 생성 과정에는 약 30초에서 1분 정도가 걸린다. 계정 특성에 맞춘 짧은 대사를 읽는 3가지 음성 샘플이 생성되며, 합성에 쓰인 텍스트 프롬프트도 함께 확인할 수 있다.

프로필 사진에 얼굴 클로즈업 이미지가 등록되어 있다면, 대사 발음에 맞춰 입술과 입모양이 정밀하게 움직이는 립싱크 애니메이션 영상까지 자동으로 만들어 준다.

사용 방법과 개발자용 API

X to Voice는 웹 클라이언트를 통해 직접 체험해 볼 수 있으며 소스 코드 역시 오픈소스로 공개되어 있다.

이와 함께 일레븐랩스는 기반이 되는 Voice Design의 API도 함께 출시했다. 텍스트 프롬프트로부터 3가지 음성 미리보기를 생성하는 엔드포인트와 마음에 드는 음성을 개인 라이브러리에 저장하는 엔드포인트 두 가지를 제공한다.

따라서 개발자는 굳이 X 계정에 얽매이지 않고도, 자체 애플리케이션이나 게임 NPC, AI 에이전트에 필요한 맞춤형 음성을 코드로 직접 생성할 수 있다.

다만 일레븐랩스는 해당 API의 호출 비용이나 모델의 구체적인 스펙 정보는 아직 공개하지 않았다.

왜 중요한가

기존에 맞춤형 음성을 만들려면 깨끗한 녹음 파일을 구해 클로닝하거나 복잡한 음향 프롬프트를 일일이 손으로 다듬어야 했다. X to Voice는 소셜 미디어에 축적된 텍스트를 인물 성향의 밑바탕으로 활용해 번거로운 조율 과정을 건너뛰었다는 점이 영리하다.

독특한 개성을 가진 가상 캐릭터나 챗봇을 구현하려는 창작자라면 지금 바로 시도해 볼 만한 구조다. 정식 API 비용만 합리적인 수준으로 책정된다면, 향후 캐릭터 음성 제작 과정에서 널리 쓰일 유용한 도구가 될 것으로 보인다.