리셈블 AI, 대본 지시문으로 웃음·한숨 연기하는 음성 모델 '드라마박스' 공개

기존 음성 합성(TTS) 기술을 다뤄본 사람이라면 누구나 비슷한 좌절을 겪어봤을 것이다. 발음과 음질은 흠잡을 데 없이 깨끗한데도, 묘하게 감정이 결여되어 밋밋하고 기계적인 느낌을 지울 수 없다.

그동안은 감정 강도를 수치로 조절하거나 텍스트 사이에 복잡한 태그를 끼워 넣는 방식으로 자연스러움을 흉내 냈다. 하지만 실제 영화 현장에서 배우에게 감정을 20%만 더 끌어올리라고 지시하는 감독은 없다.

음성 AI 기업 리셈블 AI는 5월 13일, 이러한 한계를 정면으로 돌파한 표현력 음성 모델 드라마박스(DramaBox)를 공개했다. 해결책은 직관적이다. 프롬프트를 통째로 영화 대본 형태로 작성하도록 만든 것이다.

대본 지시문으로 웃음과 한숨까지 연출한다

드라마박스의 핵심 원리는 텍스트 영역을 대사와 지문으로 엄격하게 나누는 데 있다.

큰따옴표 안의 글자는 캐릭터가 실제로 발화할 대사로 인식되고, 큰따옴표 밖의 모든 문장은 무대 지시문과 감정 연출로 처리된다.

예를 들어 "차가운 분노를 머금은 여성이 깊은 한숨을 내쉬며 '벌써 천 번도 넘게 말했잖아'라고 낮게 읊조린다"고 적으면, 모델은 지문을 읽지 않고 깊은 한숨 소리를 먼저 낸 뒤 억누른 분노를 담아 대사를 읊는다.

대사 중간에 웃음을 주체하지 못해 헐떡거리거나 은밀하게 속삭이는 연기도 프롬프트 속 묘사만으로 자연스럽게 생성된다. 어색한 효과음을 덧붙이는 것이 아니라 호흡과 웃음소리가 실제 목소리와 한 호흡으로 섞여 나온다.

음성 복제 기능도 함께 지원한다. 10초 분량의 참조 음성만 입력하면 대상의 음색을 그대로 복제하면서 프롬프트에 적힌 감정 연기를 완벽하게 소화한다. 참조 음성을 넣지 않으면 장면에 어울리는 가상의 목소리를 알아서 만들어낸다.

3.3B 모델과 24GB VRAM이라는 문턱

기술적으로 드라마박스는 33억 개(3.3B) 파라미터의 오디오 전용 확산 트랜스포머에 4비트로 양자화된 젬마 3 12B(Gemma 3 12B) 텍스트 인코더를 결합했다. 비디오 모델인 LTX 2.3의 아키텍처 노하우도 일부 녹아들어 있다.

출력 사양은 48kHz 스테레오(AAC 또는 WAV)를 지원하며, 예열된 H100 GPU 기준 1회 생성에 약 2.5초밖에 걸리지 않는다.

리셈블 AI는 모델 가중치와 로컬 구동 가이드를 완전히 오픈소스로 공개했다. 다만 내 컴퓨터에서 직접 돌려보려면 하드웨어 사양이 만만치 않다.

오디오 모델 자체 크기는 7GB, 텍스트 인코더는 8GB 수준이지만 실행 시 요구되는 최대 VRAM 사용량이 24GB에 달한다. 16GB 환경에서도 실행 자체는 시도해 볼 수 있겠지만, 원활한 구동을 위해서는 중고급형 GPU가 사실상 필수다.

또한 EU 인공지능법 등 강화되는 글로벌 규제에 발맞춰 음향 신호 자체에 비가청 워터마크인 Resemble Watermarker를 기본 내장했다. 압축이나 재인코딩을 거쳐도 100%에 가까운 감지율을 유지한다. 오픈소스 머신러닝 엔지니어 조슈아 로크너(Joshua Lochner)는 리셈블 TTS 제품군의 허깅페이스 누적 다운로드가 1,000만 건을 넘어섰다고 축하를 건넸다.

왜 중요한가

우리는 드라마박스가 음성 생성의 인터페이스를 기계적 파라미터에서 인간의 자연스러운 언어로 되돌려 놓았다는 점을 높이 평가한다.

인디 게임 개발자나 오디오북 제작자가 감정 실린 대사를 뽑아내기 위해 수많은 테이크를 잘라 붙이거나 슬라이더를 붙잡고 씨름하던 시대는 지나가고 있다. 대본 형식의 프롬프트는 제작에 드는 학습 비용을 파격적으로 줄여준다.

24GB라는 VRAM 요구치는 일반 사용자에게 여전히 큰 진입 장벽이지만, 고품질 연기력을 로컬에서 독립적으로 통제할 수 있다는 이점은 강력하다.

나아가 뛰어난 표현력을 제공하는 동시에 위변조를 판별할 워터마크 기술을 오픈소스 모델에 결합한 점도 영리한 선택이다. 규제 리스크를 피하면서 상업적 신뢰를 얻으려는 시도야말로 향후 생성형 음성 기술이 엔터테인먼트 산업에 안착하기 위한 필수 조건이기 때문이다.