일레븐랩스, 대화형 AI 에이전트 구축 기능 출시: GPT·클로드 연동 지원

지금까지 음성 대화형 AI를 구축하려면 개발자가 직접 음성인식(STT) 엔진을 붙이고, 이를 거대언어모델(LLM)로 넘긴 뒤, 다시 음성합성(TTS)으로 출력하는 번거로운 파이프라인을 짜야 했습니다. 여기에 사용자가 중간에 말을 끊었을 때 자연스럽게 반응하는 끼어들기 처리까지 구현하려면 작업은 배로 늘어납니다.

자연스러운 AI 음성 복제 기술로 잘 알려진 일레븐랩스(ElevenLabs)가 이 과정을 하나로 묶었습니다. 일레븐랩스는 자사 개발자 플랫폼에서 대화형 AI 에이전트를 손쉽게 제작할 수 있는 기능을 새롭게 선보였습니다.

파편화된 음성 파이프라인을 하나로

일레븐랩스의 성장 책임자 샘 스클라(Sam Sklar)는 테크크런치와의 인터뷰에서 이미 많은 고객이 기존 음성 API로 챗봇을 만들고 있었다고 설명했습니다. 하지만 기업 지식 베이스를 연결하고 통화 중 끼어들기를 처리하는 데서 가장 큰 기술적 병목을 겪고 있었고, 이에 전체 과정을 아우르는 솔루션을 직접 만들게 되었다고 밝혔습니다.

개발자는 이제 대시보드에서 템플릿을 고르고 기본 언어, 첫인사, 페르소나를 정하는 시스템 프롬프트를 입력해 에이전트를 만들 수 있습니다. 특히 두뇌 역할을 하는 모델로 구글 제미나이(Gemini), 오픈AI GPT, 앤트로픽 클로드(Claude) 중 원하는 모델을 고를 수 있으며, 자체 커스텀 LLM 연동도 지원합니다.

문서나 웹사이트 URL, 텍스트를 지식 베이스로 바로 등록할 수 있고, 통화 중 상대방 이름과 이메일을 수집하도록 설정할 수도 있습니다. SDK는 파이썬, 자바스크립트, 리액트, 스위프트를 지원하며 웹소켓(WebSocket) API도 함께 제공됩니다.

자체 음성인식 기술과 커지는 경쟁 구도

대화를 매끄럽게 이어가기 위해 일레븐랩스는 이번 제품 전용으로 음성인식(STT) 기술까지 자체 개발했습니다. 현재는 독립형 API로 판매하지 않지만 향후 단독 출시 가능성도 열어두고 있어, 위스퍼(Whisper)나 딥그램(Deepgram) 같은 기존 STT 강자들과의 격돌이 예상됩니다.

현재 30억 달러 이상의 기업가치로 투자 유치를 추진 중인 일레븐랩스는 바피(Vapi), 리텔(Retell) 등 음성 스타트업뿐 아니라 오픈AI의 실시간 대화 API(Realtime API)와도 본격적인 경쟁에 돌입했습니다. 일레븐랩스는 뛰어난 커스터마이징 능력과 여러 LLM을 자유롭게 교체할 수 있는 유연성을 무기로 내세우고 있습니다.

왜 중요한가

이번 출시는 일레븐랩스가 단순한 목소리 공급자에서 벗어나 대화형 음성 플랫폼의 주도권을 쥐겠다는 명확한 선언으로 보입니다.

고객센터 자동화나 음성 비서, 인터랙티브 서비스를 준비 중인 개발사라면 지금 당장 도입을 검토해 볼 만합니다. 사용자의 끼어들기를 감지하고 음성 지연을 튜닝하는 데 들어가던 수 주간의 엔지니어링 리소스를 단 몇 번의 설정으로 대체할 수 있기 때문입니다.

다만 기술적 한계도 염두에 두어야 합니다. 오픈AI가 하나의 신경망 안에서 음성을 직접 처리하는 엔드투엔드 방식을 강화하는 반면, 일레븐랩스는 여전히 STT와 LLM, TTS를 단계별로 잇는 파이프라인 구조를 취하고 있어 물리적인 지연 시간 단축에서 불리할 수 있습니다.

그럼에도 특정 AI 생태계에 종속되지 않는다는 점은 강력한 무기입니다. 상황에 따라 GPT와 클로드를 넘나들고 자체 구축 모델까지 붙일 수 있는 중립성은, 단일 빅테크 솔루션에 회사의 핵심 고객 접점을 맡기기 꺼리는 엔터프라이즈 시장에서 확실한 차별화 포인트가 될 것입니다.