일레븐랩스, 대화형 음성 에이전트 구축 플랫폼 공개

AI에게 그럴듯한 목소리를 입히는 것은 이제 어렵지 않습니다. 진짜 어려운 것은 대화 도중 말을 끊거나 멍하니 기다리지 않게 만드는 일입니다.

음성 AI 전문 기업 일레븐랩스는 맞춤형 대화형 음성 에이전트를 구축할 수 있는 올인원 플랫폼 '컨버세이셔널 AI'를 공개했습니다. 단순 음성 합성을 넘어 듣고 생각하고 말하는 전 과정을 하나로 묶은 플랫폼입니다.

끼어들기와 말차례의 어색함 해결

기존 음성 봇을 써보면 말 도중 숨을 고를 때 상대가 말을 가로채거나, 말을 끊고 싶어도 끝까지 준비된 문장을 읽어 내려가는 탓에 몰입이 깨지기 일쑤였습니다.

일레븐랩스는 말차례 전환과 끼어들기 처리 로직에 집중했습니다. 사용자가 말을 마쳤는지를 실시간으로 예측하는 모델을 적용해, 사용자가 중간에 말을 끊더라도 자연스럽게 대응할 수 있도록 했습니다.

지연 시간을 낮추기 위해 서버 호출 횟수도 줄였습니다. 자체 고품질 TTS와 음성 텍스트 변환, 사용자가 선택한 대형 언어 모델을 맞춤형 턴 테이킹 로직과 하나로 연결했습니다.

덕분에 개발자는 번거로운 파이프라인 구축 대신 자체 지식 베이스 구축, 시스템 프롬프트 작성, 함수 호출 연동, 음성 라이브러리 선택이나 음성 복제에만 집중하면 됩니다.

실제 서비스 도입을 위해 트윌리오 전화 연동을 기본 지원하며, 서버 및 클라이언트 측 툴 콜링과 동적 프롬프트 기능도 탑재했습니다. 파이썬, 자바스크립트, 리액트, 스위프트 SDK를 제공하며 웹소켓 API나 자체 LLM 연결도 지원합니다.

왜 중요한가

그동안 개발자들은 STT, LLM, TTS를 따로 엮느라 누적되는 지연 시간과 어색한 발화 타이밍 문제로 골머리를 앓았습니다. 일레븐랩스가 이 복잡한 과정을 단일 플랫폼으로 묶어내면서, 고객 지원, 아웃바운드 영업, 게임 캐릭터, 교육 튜터 등을 만드는 진입 장벽이 크게 낮아졌습니다.

우리는 일레븐랩스의 이러한 전환이 매우 영리하다고 봅니다. 단순 TTS API는 결국 가격 경쟁에 치이기 쉽지만, 대화형 에이전트 인프라로 확장하면 높은 호출 빈도와 기업용 고객을 동시에 확보할 수 있기 때문입니다.

다만 전화 통화 같은 실시간 환경에서는 약간의 지연이나 모델의 헛소리도 즉각적인 고객 이탈로 이어집니다. 실제 비즈니스 통화에서 어느 정도의 안정성을 보여줄지가 관건이지만, 음성 에이전트 개발 방식을 한 단계 진화시킨 것은 분명해 보입니다.