일레븐랩스, AI 오디오 에디터 '스튜디오 4.0' 공개…대본 고치면 음성 자동 재생성

팟캐스트나 유튜브 나레이션을 녹음해 본 사람이라면 단어 하나를 잘못 발음해서 마이크와 조명을 다시 세팅하고 재녹음해야 했던 번거로움을 잘 알고 있을 것입니다.

ElevenLabs는 9월 21일 창작자를 위한 올인원 오디오 편집 도구인 Studio 4.0을 공개했습니다. 기존의 음성 합성 기능을 넘어 텍스트 편집기처럼 소리를 다루는 제작 환경을 구축했습니다.

대본 수정으로 목소리 재녹음 대체

Studio 4.0은 1만 개 이상의 보이스 라이브러리를 지원하며 현실적인 억양과 캐릭터 음성, 전문 내레이션 스타일을 폭넓게 제공합니다.

가장 실용적인 기능은 음성 교정입니다. 생성하거나 녹음한 오디오에 오탈자나 잘못된 발음이 있을 때 텍스트 대본만 수정하면 AI가 동일한 음색으로 해당 부분만 자연스럽게 다시 생성해 채워 넣습니다.

함께 도입된 Studio Agent는 보조 편집자 역할을 수행합니다. 사용자가 구상 중인 아이디어를 텍스트로 설명하면 에이전트가 대본 초안을 작성하고 적절한 목소리를 고르며 효과음을 배치해 타임라인을 구성합니다. 대화를 통해 결과물을 다듬을 수도 있고 언제든 수동 조작으로 전환할 수도 있습니다.

외부에서 녹음한 마이크 소스는 음성 분리 기능을 통해 배경 소음과 실내 울림을 자동으로 걸러내 스튜디오 수준의 명료한 음질로 정리해 줍니다.

프롬프트로 완성하는 배경음악과 사운드 효과

목소리 외에 배경음악과 효과음도 단일 작업 환경에서 즉시 생성할 수 있습니다.

Eleven Music과 연동되어 원하는 장르의 음악을 텍스트 프롬프트로 만들 수 있으며 영상을 불러오면 장면에 어울리는 배경음을 자동으로 작곡해 입혀주는 자동 스코어링도 지원합니다.

효과음 역시 프롬프트 입력 방식으로 배경 소음부터 영화적인 타격음까지 다양하게 뽑아낼 수 있습니다. 32개 이상의 언어, 자막 자동 생성, 영상 타임라인 지원, 프로젝트 공유 링크 기능을 갖추고 있으며 모든 핵심 엔진은 API로도 사용할 수 있습니다.

왜 중요한가

Studio 4.0의 핵심은 음성 합성, 배경음악 생성, 사운드 디자인이라는 파편화된 작업 단계를 하나의 타임라인으로 매끄럽게 엮어냈다는 데 있습니다.

그동안 크리에이터들은 AI 음성을 내려받은 뒤 별도 사이트에서 음원을 찾고 전문 오디오 프로그램에서 타이밍을 맞추는 복잡한 과정을 거쳐야 했습니다. 대본 수정만으로 음성을 바로잡고 장면에 맞춘 배경음을 즉석에서 입힐 수 있게 되면서 1인 창작자와 소규모 미디어 팀의 작업 효율이 크게 개선될 것으로 보입니다.

특히 팟캐스트 제작자나 오디오북 작가에게는 재녹음 부담을 없애주는 음성 교정 기능과 잡음 제거 기능만으로도 지금 당장 도입해 볼 만한 도구입니다.

다만 에이전트에게 전체 흐름을 일임할 경우 콘텐츠의 호흡과 연출이 기계적으로 획일화될 우려가 있습니다. 프롬프트로 만들어낸 음악과 효과음이 복잡한 감정선을 가진 서사에서 얼마나 섬세하게 어우러질지는 미지수이므로 여전히 최종 믹싱에서는 사람의 섬세한 검수가 필수적일 것으로 판단됩니다.