Fish Audio, 16인 다역 연기 지원하는 음성 모델 Drama 3 오픈소스 공개

Fish Audio가 다자간 대화와 장문 오디오 제작에 특화된 차세대 오픈소스 텍스트 음성 변환 모델 Drama 3을 공개했습니다.

기존 오픈소스 음성 모델은 대부분 수십억 파라미터 수준에 머물러 단일 화자 낭독에 그치는 경우가 많았습니다. 반면 Drama 3은 하나의 텍스트 안에서 화자 태그를 사용해 최대 16명의 서로 다른 캐릭터 목소리를 자유자재로 연기할 수 있어 오디오 드라마나 팟캐스트, 소설 낭독에 적합합니다.

무엇을 할 수 있나

Drama 3은 여러 캐릭터를 소화하는 것 외에도 자연스러운 감정과 행동 제어를 지원합니다.

텍스트 사이에 한숨이나 웃음 같은 메타 태그를 넣으면, 모델이 해당 위치에서 실제 숨을 내쉬거나 웃는 소리를 섞어가며 연기합니다. 짧은 참조 오디오 클립만 제공하면 원하는 음색을 그대로 복제하는 보이스 클로닝도 지원합니다.

제작 환경에서 가장 유용한 기능은 텍스트를 고치듯 오디오를 수정하는 부분 편집 기능입니다. 단어 하나를 잘못 읽었을 때 처음부터 다시 만들 필요 없이, 이전 토큰 기록과 바뀐 텍스트만 전달하면 모델이 앞뒤 어조를 자연스럽게 이어가며 틀린 단어만 교체해 줍니다.

긴 글을 넣으면 시스템이 내용을 자동으로 분할해 스트리밍 방식으로 생성하므로 전체가 완성될 때까지 기다리지 않고 바로 들을 수 있습니다.

작동 방식과 하드웨어 사양

Drama 3은 35B 파라미터 규모의 MoE 텍스트 백본을 사용하지만, 토큰당 실제로 활성화되는 파라미터는 3B에 불과합니다. 전문가 레이어는 FP8, 나머지 가중치는 bf16을 적용했으며 10개의 코드북을 사용하는 오디오 디코더를 갖췄습니다.

총 파라미터는 350억 개에 달하지만 활성 파라미터가 작기 때문에, 사용자들 사이에서는 8GB VRAM 환경에서도 로컬 실행에 성공했다는 보고가 나오고 있습니다.

서버 배포 측면에서는 출시와 동시에 SGLang-Omni 및 vLLM-Omni를 지원합니다. 단일 NVIDIA H200 GPU에서 측정한 결과 단일 스트림의 첫 오디오 출력 시간은 100ms 미만입니다. 16 동시 요청 환경에서도 재생 속도보다 약 2.7배 빠르게 음성을 만들어내며, 64 동시 요청에서도 실시간 비율 RTF를 약 0.8 수준으로 유지합니다.

256 동시 스트림 같은 고부하 환경에서는 보코더를 두 번째 GPU로 분리 배치해 처리량을 약 72% 늘리고 대기 시간을 37% 줄일 수 있습니다.

Drama 3은 Artificial Analysis의 오픈 모델 리더보드에서 1위를 기록 중이며, 모델 가중치는 Hugging Face에서 Fish Audio Community License로 내려받을 수 있습니다.

왜 중요한가

오디오 콘텐츠를 제작하는 독립 개발자나 창작자에게 캐릭터별 음색 관리와 재녹음 번거로움은 가장 큰 골칫거리였습니다. Drama 3은 다역 분담과 문맥 기반 부분 수정으로 이 문제를 깔끔하게 풀어냈습니다.

전체는 35B로 문맥 이해력을 극대화하면서 실제 구동은 3B 활성으로 묶어둔 MoE 설계도 영리합니다. 고성능 GPU가 아니더라도 개인 PC에서 다채로운 보이스 프로젝트를 실험해 볼 수 있는 만큼, 지금 바로 테스트해 볼 가치가 충분합니다.