일레븐랩스, 스크립트로 립싱크 영상 만드는 '아바타' 출시

지금까지 AI로 말하는 영상(토킹헤드)을 만들려면 번거로운 과정을 거쳐야 했습니다. ElevenLabs에서 음성을 뽑아 내려받은 뒤, 다른 비디오 제작 툴로 넘어가 캐릭터를 고르고 립싱크를 맞추는 식입니다. 대본 한 줄만 고쳐도 이 과정을 처음부터 반복해야 했습니다.

ElevenLabs가 6월 11일 자체 제작 플랫폼인 ElevenCreative에 신기능 ‘Avatars’를 추가하며 이 과정을 하나의 작업 창으로 합쳤습니다. ElevenLabs의 음성 합성 모델과 립싱크 기술을 결합해, 대본 작성부터 음성 선택, 영상 생성까지 한 곳에서 끝낼 수 있게 만들었습니다.

음성과 비디오를 한 작업창에서 해결

기존에는 ElevenCreative 내부에서도 이미지와 비디오 메뉴를 오가며 립싱크 제공업체를 필터링해야 했습니다.

새로 추가된 Avatars 탭에서는 아바타를 고르고 대본을 입력한 뒤 목소리를 선택하기만 하면 영상이 완성됩니다. 텍스트 음성 변환(TTS)이 프롬프트 입력창에 바로 통합되어 있어 파일을 따로 내보내고 불러올 필요가 없습니다. ElevenLabs 측은 자체 음성 엔진을 기반으로 동일한 환경에서 립싱크를 처리하기 때문에 외부 오디오를 가져오는 방식보다 싱크가 훨씬 정교하다고 설명합니다.

시각적 정체성을 유지할 수 있는 ‘지속형 아바타’ 기능도 눈에 띕니다. 실제 인물 사진이나 캐릭터 일러스트, 동물 이미지 또는 텍스트 프롬프트를 통해 고유한 인물 모델을 생성할 수 있습니다. 동일한 인물 모델을 유지하면서 카메라 앵글, 의상, 배경만 바꿔 여러 편의 영상에 반복해서 등장시키는 방식이 가능합니다.

Flows를 통한 대량 제작 파이프라인

개별 영상 제작을 넘어 대량 생산을 위한 장치도 마련했습니다. ElevenLabs의 자동화 도구인 Flows에 ‘Avatar’ 노드가 새롭게 추가되었습니다.

제품 기획서를 입력하면 대본 작성부터 다국어 음성 생성, 아바타 영상 출력까지 이어지는 파이프라인을 구축할 수 있습니다. 이를 활용하면 수십 가지 버전의 성과형 광고 소재를 한 번에 뽑아내거나, 같은 강사 캐릭터로 여러 언어의 온라인 강의를 자동화해 제작할 수 있습니다. 이 기능은 현재 모든 ElevenLabs 유료 플랜 이용자에게 제공됩니다.

왜 중요한가

그동안 HeyGen 같은 토킹헤드 전문 서비스들은 ElevenLabs의 정교한 목소리를 가져다 쓰는 경우가 많았습니다. 그런데 음성 분야의 강자인 ElevenLabs가 직접 아바타와 립싱크 비디오 영역까지 품으면서, 굳이 외부 툴을 오가며 작업할 이유가 크게 줄었습니다.

마케터와 1인 크리에이터 입장에서는 제작 단가와 워크플로가 획기적으로 단순해졌습니다. 스튜디오를 빌리거나 모델을 섭외하지 않고도 다국어 버전의 브랜드 대변인 영상을 대량으로 찍어낼 수 있게 된 셈입니다. 특히 A/B 테스트가 중요한 퍼포먼스 마케팅 분야에서는 즉시 도입할 만한 가치가 있습니다.

다만 한계도 분명해 보입니다. 이번에 공개된 기능은 어디까지나 얼굴 중심의 정적인 토킹헤드 영상에 최적화되어 있습니다. 시선 처리나 앵글 변형은 지원하지만, 손동작을 활용한 제스처나 역동적인 상호작용이 필요한 콘텐츠를 만들기에는 아직 부족합니다. 따라서 인터랙티브한 연출보다는 빠른 속도가 생명인 숏폼 광고나 제품 설명 영상에 집중해 활용하는 편이 현실적입니다.