Scenema Audio 공개: 목소리와 감정을 분리해 연기를 지시하는 음성 복제 모델

음성 복제 툴을 써본 사람이라면 누구나 겪는 답답함이 있습니다. 차분하게 읽은 참조 오디오를 넣으면 어떤 대사를 입력해도 지루한 안내 방송 톤으로만 나오고, 격렬하게 화를 내는 목소리를 만들려면 애초에 화를 내고 있는 음성 클립을 구해와야 했습니다.

Scenema AI가 공개한 오픈소스 음성 모델 Scenema Audio는 바로 이 한계를 깨뜨리기 위해 등장했습니다.

오픈소스 비디오 생성 모델인 LTX 2.3에서 오디오 확산 모델만을 따로 추출해 만든 것으로, 음성의 고유한 정체성과 감정 연기를 완벽하게 분리하는 구조를 취했습니다. 몇 초 분량의 깨끗한 음성 샘플만 있으면 호흡, 말의 빠르기, 감정선은 모두 텍스트 프롬프트의 지문(Stage Direction)으로 지시할 수 있습니다.

차분한 목소리에 연기를 입히다

공개된 예시를 보면 그 차이가 명확합니다. 극도로 차분하고 낮게 깔린 목소리의 참조 음성을 넣은 뒤, 프롬프트에 '복권을 바라보며 손을 떨고, 믿기지 않는 충격에서 주체할 수 없는 흥분으로 목소리가 치솟는다'는 지문을 입력하자, 모델은 거칠게 숨을 몰아쉬며 환희에 차 소리를 지르는 음성을 합성해 냅니다.

기존의 제로샷 음성 복제는 원본 녹음의 감정 범위에 결과물이 종속되었습니다. 반면 Scenema Audio는 프롬프트를 바탕으로 연기 자체를 먼저 생성한 다음, 참조 클립에서 음색만 가져와 덧입힙니다. 단 한 번도 화를 내본 적 없는 차분한 목소리라도 완벽하게 분노 연기를 시킬 수 있는 셈입니다.

억양 변경도 손쉽습니다. 호주 억양을 가진 여성의 목소리를 입력하더라도 프롬프트에 '미국식 억양'과 '말을 시작하기도 전부터 웃음을 참지 못하는 상태'를 지정하면, 낄낄거리며 농담을 던지는 미국식 음성이 생성됩니다.

대사 중간에 액션 태그를 넣어 감정의 흐름을 꺾을 수도 있습니다. 억누르던 분노가 한순간에 폭발하는 연출이 단 한 번의 생성으로 가능합니다. 오바마의 영어 녹음 하나로 스페인어, 프랑스어, 독일어, 스와힐리어 등을 구사하는 다국어 복제는 물론, 참조 오디오 없이 텍스트 설명만으로 새로운 목소리를 만들어내는 기능도 지원합니다.

비디오 모델에서 떼어낸 오디오 기술

흥미로운 점은 이 모델이 완전히 새로 훈련된 단독 TTS가 아니라는 사실입니다. 개발팀은 오픈소스 영상 생성기 LTX 2.3 내부의 오디오 모델 성능이 뛰어나다는 점에 착안해 이를 추출하여 독립적인 연기형 오디오 모델로 다듬었습니다.

Scenema AI는 코드와 모델 가중치를 GitHub와 Hugging Face에 공개했으며, 로컬에서 쓰기 편한 그래픽 인터페이스(GUI)도 함께 제공합니다. 양자화 모델 기준 최소 요구 사양은 16GB VRAM과 32GB 이상의 시스템 메모리입니다.

왜 중요한가

Scenema Audio는 AI 음성 생성의 고질병인 '기계적인 낭독'을 본격적인 '연기'의 영역으로 끌어올렸다는 점에서 의미가 큽니다.

인디 게임 개발자나 숏폼 드라마 제작자, 팟캐스트 창작자들은 그동안 캐릭터의 감정을 살리기 위해 수많은 오디오 조각을 이어 붙여야 했습니다. 연출가가 배우에게 디렉팅을 주듯 텍스트 지문으로 호흡과 감정의 완급을 조절할 수 있다면 콘텐츠 제작의 진입장벽은 크게 낮아집니다.

대형 멀티모달 비디오 모델에서 핵심 부품을 떼어내 단독 툴로 재활용하는 방식 역시 영리합니다. 전용 TTS를 바닥부터 만들지 않고도 최상급 성능의 연기 음성을 뽑아낼 수 있음을 보여주었기 때문입니다.

16GB VRAM이라는 사양이 일반 사용자에게 다소 부담스러울 수 있고, 데이터가 적은 일부 언어에서는 미세한 발음 왜곡이 나타나기도 합니다. 하지만 로컬 환경에서 감정 연기가 가능한 고품질 음성을 직접 통제하며 뽑아낼 수 있다는 점만으로도 창작자라면 주목해 볼 가치가 충분합니다.