Scenema Audio 오픈소스 공개: 지문으로 감정 조절하는 LTX 2.3 기반 음성 모델

기존의 AI 음성 합성 도구들은 문장을 또박또박 읽는 데는 능숙하지만, 감정이 실린 '연기'를 시키면 금세 어색해지기 일쑤였습니다. 목소리 톤이 아무리 자연스러워도 분노나 울음, 한숨 같은 인간적인 감정선을 표현하기에는 한계가 분명했습니다.

ScenemaAI 가 오픈소스로 선보인 Scenema Audio 는 바로 이 지점을 파고든 모델입니다. 음성 알고리즘을 밑바닥부터 새로 학습시킨 것이 아니라, Lightricks 의 22B 파라미터 오픈소스 비디오 모델인 LTX 2.3 에서 오디오 확산 트랜스포머를 떼어내 독립적인 엔진으로 완성했습니다.

각본의 지문으로 디렉팅하는 감정 연기

Scenema Audio 의 가장 큰 매력은 대본의 지문을 적어 내려가듯 모델의 연기 톤을 직접 지시할 수 있다는 점입니다.

XML 형식의 프롬프트 안에서 action 태그를 활용하면 대사 중간에 감정의 전환점을 심을 수 있습니다. 차분하게 말을 시작하다가 중간에 목소리를 떨며 울먹이고, 깊은 한숨을 내쉰 뒤 대사를 끝맺는 식의 복잡한 감정선을 단 한 번의 생성 과정에서 자연스럽게 구현해 냅니다.

배경 음향을 함께 만들어내는 장면 인식 기능도 지원합니다. 프롬프트에 폭풍우나 부둣가 같은 배경을 적어두면 음성과 함께 빗소리와 천둥소리가 합성되며, 거친 바람을 뚫고 소리를 지르는 현장감 넘치는 연기 톤까지 연출합니다.

제로샷 음성 복제 기능 역시 유용합니다. 감정 변화가 담긴 10~20초 분량의 참조 오디오만 입력하면, 평소 그 목소리로 녹음된 적 없는 격렬한 분노나 오열 연기까지 완벽하게 그 음색으로 재현해 냅니다.

로컬 구동을 위한 최적화 스펙

내부 아키텍처는 텍스트 인코딩에 Google 의 Gemma 3 12B 를 쓰고, 8단계로 증류된 잠재 확산 프로세스와 SeedVC 를 거쳐 48kHz 스테레오 음성을 출력합니다. 한국어와 영어, 중국어, 일본어 등 총 13개 언어를 지원합니다.

구동에 필요한 사양도 실용적입니다. 최소 16GB VRAM 과 32GB 시스템 메모리가 갖춰지면 CPU 스트리밍을 통해 로컬 구동이 가능합니다. 24GB VRAM 을 갖춘 RTX 4090 환경에서 INT8 과 NF4 설정을 쓰면 실시간 대비 1.57배 빠른 속도를 보여주며, 55초 분량의 음성을 35초 만에 뽑아냅니다.

다만 단일 생성 길이가 약 15초로 제한되어 긴 문장은 쪼개어 처리해야 하고, 복잡한 고유명사나 다음절 단어에서 발음이 뭉개지는 현상이 있으며, Gemma 3 모델 권한을 먼저 승인받아야 하는 제약이 있습니다.

왜 중요한가

인디 게임 개발자나 1인 애니메이션 제작자, 오디오 드라마 창작자에게 이 모델은 즉시 제작 파이프라인에 투입해 볼 만한 가치가 있습니다. 과거에는 생생한 캐릭터 연기를 위해 전문 성우를 섭외하거나 비싼 상용 음성 API 에 의존해야 했지만, 이제는 일반 소비자용 그래픽카드 한 장으로 로컬 환경에서 맞춤형 더빙 스튜디오를 구축할 수 있게 되었습니다.

기술적인 측면에서도 비디오 생성 모델에서 오디오 구조만 따로 분리해 재활용했다는 점이 매우 영리합니다. 영상과 음향을 함께 학습하는 과정에서 축적된 감정선과 공간감이 독립적인 음성 합성 모델로서도 기존 전용 TTS 모델들을 압도할 수 있음을 증명했습니다.

단순한 텍스트 변환을 넘어 각본 지문 형식으로 연기를 지시하게 만든 인터페이스 설계는 창작자의 작업 방식과 정확히 맞아떨어집니다. 긴 텍스트의 안정성과 발음 정확도 측면에서 아직 다듬어야 할 부분이 있지만, 오픈소스 음성 합성이 '낭독'을 넘어 '연기'의 단계로 올라섰다는 점에서 주목할 만한 모델입니다.