일레븐랩스, AI 효과음 기능 예고: 텍스트로 효과음·배경음 제작

지난주 OpenAI가 Sora를 공개했을 때 전 세계는 압도적인 비디오 품질에 열광했습니다. 하지만 감탄이 지나간 뒤 모두가 마주한 현실적인 한계가 있었습니다. 공개된 영상들이 전부 소리가 전혀 없는 무성 영화였다는 점입니다.

AI 음성 분야의 대표 주자인 ElevenLabs는 이 빈틈을 놓치지 않았습니다. 2월 19일, ElevenLabs는 개발 중인 새로운 AI 효과음 모델을 공개하며, Sora의 대표적인 무성 데모 영상에 자체 제작한 오디오를 덧입힌 시연을 선보였습니다.

프롬프트 입력창으로 들어온 폴리 아티스트

ElevenLabs의 신기능은 사용자가 장면에 대한 텍스트 설명을 입력하면, 그에 맞는 배경음과 음향 효과를 자동으로 합성해 내는 도구입니다.

공개된 시연에서 ElevenLabs는 거센 파도 소리, 금속이 부딪히는 소리, 새 지저귀는 소리, 레이싱카 엔진 소리 같은 직관적인 프롬프트를 사용해 오디오를 만들었습니다.

결과물은 상당히 인상적입니다. 분주한 거리의 발소리와 도시의 소음, 미래형 이족 보행 로봇의 기계 작동음과 비프음, 여기에 묵직한 할리우드 예고편 스타일의 내레이션까지 영상과 자연스럽게 맞물렸습니다.

ElevenLabs는 구글 출신 머신러닝 엔지니어 피오트르 돕코프스키와 팔란티어 출신 마티 스타니셰프스키가 2022년 공동 창업한 스타트업입니다. 그동안 사람 목소리 복제와 다국어 더빙 기술로 입지를 다져왔으며, 이제 사람의 음성을 넘어 모든 소리의 영역으로 확장을 꾀하고 있습니다.

현재 이 기능의 구체적인 출시 일정이나 세부 모델 사양은 공개되지 않았으며, 공식 홈페이지를 통해 사전 대기자 등록을 받고 있습니다.

왜 중요한가

영상 제작자나 1인 크리에이터에게 효과음 작업은 늘 많은 시간이 들어가는 번거로운 과정입니다. 원하는 발소리나 공간의 배경 소음을 찾기 위해 무료 음원 사이트를 몇 시간씩 뒤지던 수고를 프롬프트 몇 줄로 대체할 수 있다면 작업 생산성은 크게 올라갑니다.

업계 관점에서도 ElevenLabs의 이번 행보는 대단히 영리합니다. 모두가 Sora의 영상 렌더링에만 집중하고 있을 때, 영상 제작의 필수 요소이지만 간과되었던 사운드를 재빠르게 채워 넣음으로써 생성형 비디오 생태계의 필수 파트너로 자신들을 각인시켰기 때문입니다.

다만 한계도 뚜렷합니다. 현재 방식은 인간이 영상을 보고 별도로 프롬프트를 짜서 소리를 만든 뒤 수동으로 싱크를 맞춰야 하는 구조입니다. 만약 향후 영상 생성 모델들이 비디오와 완벽히 동기화된 오디오를 자체적으로 함께 출력하기 시작한다면, 독립된 효과음 툴의 입지는 좁아질 수 있습니다. 그럼에도 당장 영상 후반 작업의 피로도를 낮추고 싶은 창작자라면 대기자 명단에 이름을 올려둘 가치는 충분하다고 봅니다.