일레븐랩스, v3 오디오 태그 출시: 대본에 태그 달아 AI 말투·호흡 조절

같은 "괜찮아"라는 말이라도 무미건조하게 내뱉는 것과, 숨을 한 번 들이쉬고 머뭇거리며 말하는 것은 완전히 다른 의미를 갖습니다.

그동안 AI 음성 도구의 가장 큰 약점은 글자를 소리 내어 읽을 줄은 알아도 감정을 실어 연기하지는 못한다는 점이었습니다. ElevenLabs가 현재 테스트 중인 Eleven v3 모델을 위해 Audio Tags라는 오디오 태그 기능을 선보이며 이 문제에 대한 해법을 내놓았습니다.

대본에 지문이나 연출 노트를 적어 넣듯 텍스트 사이에 특정 태그를 삽입해 호흡과 템포, 강세를 정밀하게 조절할 수 있도록 만든 기능입니다.

대본을 악보처럼 지휘하는 방식

이번에 도입된 태그들은 사람이 말할 때 자연스럽게 나타나는 미묘한 리듬 변화들을 폭넓게 지원합니다.

호흡이나 쉼표가 필요할 때는 pause나 breathes, continues after a beat 같은 태그를 넣으면 됩니다. 긴박한 장면을 위해 rushed나 rapid-fire로 말을 빠르게 몰아붙일 수도 있고, 긴장감을 주입하기 위해 slows down이나 deliberate로 의도적으로 속도를 늦출 수도 있습니다.

기존 프롬프트로는 구현하기 어려웠던 말더듬 stammers, 말꼬리 늘이기 drawn out, 침 삼키기 gulps, 속삭임 whispering 같은 디테일한 반응들도 태그로 구현할 수 있습니다.

태그를 겹쳐서 쓰는 것도 가능합니다. 대사 앞에 hesitant와 nervous를 동시에 지정하고 중간에 침을 꿀꺽 삼키는 지문을 넣은 뒤 황급히 말을 끝맺도록 구성해 사실감 넘치는 장면을 텍스트만으로 완성할 수 있습니다.

다만 이 기능은 아직 연구 프리뷰 단계로 주의할 점이 있습니다. ElevenLabs에 따르면 전문가용 음성 복제 기능인 PVC는 아직 v3에 완벽히 최적화되지 않아 이전 모델보다 품질이 떨어질 수 있습니다. 오디오 태그를 테스트하려면 당분간 즉석 복제 음성이나 기본 프리셋 음성을 활용하는 편이 낫습니다.

왜 중요한가

우리는 이번 발표가 AI 음성이 단순 낭독 도구에서 연기 도구로 진화하는 중요한 분기점이라고 봅니다.

팟캐스트 제작자, 인디 게임 개발자, 영상 크리에이터들이 겪어온 진짜 문제는 음질이 아니라 타이밍과 호흡이었습니다. 적절한 유머 감각이나 극적인 침묵을 살리기 위해 수십 번 오디오 생성을 다시 돌리거나 오디오 편집기에서 일일이 파형을 자르고 벌리던 낭비가 텍스트 명령 몇 개로 해결되기 시작한 셈입니다.

업계 전반으로 봐도 이제 AI 음성 경쟁의 초점은 단순히 목소리를 얼마나 똑같이 흉내 내느냐를 넘어, 연출자가 결과를 얼마나 섬세하게 제어할 수 있느냐로 옮겨가고 있습니다.

하지만 대본 전체에 일일이 괄호 태그를 손으로 입력하는 방식은 작업량이 만만치 않다는 한계도 분명합니다. 앞으로 텍스트를 작성하는 LLM이 맥락에 맞춰 이러한 오디오 태그를 자동으로 채워 넣을 수 있게 연동된다면 콘텐츠 제작 워크플로에 훨씬 더 파괴적인 변화를 가져올 것으로 보입니다.