일레븐랩스, 'Eleven v3 알파' API 출시… 다자간 대화 모드 지원

지금까지 AI로 여러 인물이 등장하는 오디오를 만들려면 상당한 노가다가 필요했습니다. 캐릭터별로 음성을 따로 생성한 뒤 편집 툴에 올려놓고, 어색한 타이밍을 일일이 손으로 잘라 맞추는 식이었기 때문입니다.

ElevenLabs가 8월 20일, 차세대 모델인 Eleven v3 알파 버전을 자사 API를 통해 공개했습니다. 단순히 목소리를 사람처럼 흉내 내는 수준을 넘어, 여러 화자가 자연스럽게 말을 주고받는 환경을 만드는 데 집중했습니다.

무제한 화자 대화 모드와 감정 제어

가장 눈에 띄는 변화는 인원수 제한이 없는 대화 모드의 도입입니다. 한 번의 호출로 여러 화자가 등장하는 긴 대화 장면을 자연스럽게 묶어낼 수 있게 되었습니다.

단순히 순서대로 읽는 것이 아니라, 대화 도중 끼어들기나 말 끊김, 문맥에 따른 어조 변화와 감정 신호를 모델이 스스로 이해하고 처리합니다.

오디오 태그를 활용해 목소리의 톤이나 감정 표현을 세밀하게 연출할 수 있는 기능도 강화되었습니다. 지원 언어 역시 70개 이상으로 대폭 늘어났습니다.

주요 영상 및 챗봇 플랫폼에 즉시 적용

ElevenLabs는 API를 대중에 개방하기 전, 이미 주요 파트너사들과 손잡고 실제 서비스에 새 모델을 이식해 두었습니다.

HeyGen은 가상 인간 아바타 영상 제작 워크플로에 Eleven v3를 도입해 다국어 음성을 역동적으로 생성하고 있습니다.

Quora의 AI 플랫폼 Poe는 텍스트 답변을 소리로 읽어주는 스피크 버튼에 이 모델을 적용했습니다.

동영상 제작 플랫폼인 Captions는 Mirage Studio에 탑재해 가상 배우의 감정 표현을 끌어올렸고, InVideo 역시 70개 이상의 언어로 대본부터 음성, 영상까지 한 번에 뽑아내는 파이프라인에 Eleven v3를 활용하고 있습니다.

왜 중요한가

우리는 이번 발표가 음성 생성 기술의 중심축을 단순 낭독에서 실시간 다자간 상호작용으로 옮겨놓는 신호탄이라고 봅니다.

게임 개발자나 오디오북 제작사, 영상 크리에이터 입장에서는 여러 명의 목소리를 따로 따서 이어 붙이던 지루한 후반 작업이 통째로 사라집니다. 대화형 오디오를 주력으로 다루는 서비스라면 지금 바로 테스트해 볼 가치가 충분합니다.

업계 전반으로 봐도 단일 화자의 목소리를 그럴듯하게 흉내 내는 기술은 이미 기본 사양이 되었습니다. ElevenLabs가 대화 문맥 제어와 말 끊김 같은 고난도 영역에 깃발을 꽂으면서, 경쟁사들 역시 다자간 대화 모델 개발을 서두를 수밖에 없게 되었습니다.

HeyGen이나 Poe처럼 트래픽이 풍부한 플랫폼들을 초기 파트너로 확보해 출시 첫날부터 API 사용량을 확보한 전략은 매우 영리합니다. 다만 이번 릴리스가 아직 알파 단계라는 점은 염두에 두어야 합니다. 대화가 길어지거나 화자가 급격히 바뀔 때 목소리가 튀거나 감정 태그가 빗나가는 현상이 얼마나 제어될지는 실제 프로덕션 환경의 검증을 지켜볼 필요가 있습니다.