피시 오디오, 단어 단위 음성 제어 지원하는 오픈소스 TTS 'S2' 공개

AI 음성의 감정을 조절하는 작업은 오랫동안 번거로운 일이었습니다. 전체 음성의 밝기나 톤을 슬라이더로 조절해 문장 전체가 부자연스럽게 들뜨거나, 한숨 소리 하나를 넣으려고 복잡한 SSML 코드를 만져야 했습니다.

피시 오디오(Fish Audio)는 이러한 불편함을 해소한 2세대 오픈소스 음성 합성 모델 'Fish Audio S2'를 선보였습니다. 복잡한 제어 패널 대신 녹음실의 성우에게 연기 지시를 내리듯 대본 안에 자연어로 괄호 태그를 적어 넣는 방식입니다.

대본에 직접 적는 단어 단위 연기 지시

Fish Audio S2의 핵심은 인라인 자연어 태그 기능입니다. 대본 본문 어디든 대괄호를 열고 일상 언어로 지시를 넣기만 하면 됩니다. 예를 들어 "[속삭이며] 아무도 모르게 해줘"라고 쓰거나, 문장 중간에 "[한숨] 이제 정말 지쳤어"를 넣는 식입니다.

이러한 제어는 단어 단위로 정밀하게 작동합니다. 태그가 삽입된 바로 다음 단어부터 음색과 호흡이 바뀌며, 다음 태그가 나오거나 문장이 끝날 때까지 해당 연기가 유지됩니다. 문장 전체를 속삭이게 할 수도 있고, 문장 끝의 단어 하나만 힘을 빼고 읊조리게 만들 수도 있습니다.

정해진 태그 목록을 외울 필요도 없습니다. 약 80개 언어와 1,000만 시간 이상의 음성 데이터로 학습된 S2는 15,000개 이상의 자연어 묘사 태그를 인식합니다. 한국어와 영어, 일본어 등 대본과 같은 언어로 태그를 작성할 수 있으며, '수천 번 반복해 온 사람처럼 차분한 어조' 같은 서술형 지시문도 해석해 냅니다.

100ms 첫 패킷 지연과 완전한 오픈소스

연기력뿐만 아니라 음성 엔진으로서의 기본 성능도 탄탄합니다. S2의 실시간 처리 비율(RTF)은 0.195이며, 첫 음성 패킷이 나오는 데 걸리는 지연 시간은 100ms에 불과합니다. 실시간 음성 대화 서비스에서도 끊김 없는 반응을 구현할 수 있는 속도입니다.

또한 긴 텍스트 읽기를 안정적으로 지원하며, 한 번의 생성 요청 안에 여러 명의 화자를 동시에 포함할 수 있습니다. 자체 음성 복제 기능과 결합하면 다자간 오디오 드라마나 게임 속 대화 장면을 후가공 편집 없이 한 번에 뽑아낼 수 있습니다.

공개 범위도 적극적입니다. 모델 가중치와 파인튜닝 코드, 추론 스택 전체가 깃허브와 허깅페이스에 공개되었으며, 피시 오디오 공식 API와 웹 앱을 통해서도 바로 이용할 수 있습니다.

왜 중요한가

콘텐츠 제작자와 개발자에게 S2는 오디오 후반 작업의 진입 장벽을 대폭 낮춰줍니다. 음향 엔지니어링 지식이 없어도 지문이나 연출 노트를 적듯 감정을 불어넣을 수 있어 오디오북, 숏폼 영상 내레이션, 게임 대사 제작의 생산성이 크게 뜁니다.

100ms의 짧은 지연 시간과 감정 제어가 결합된 점은 차세대 AI 에이전트 시장에서도 파급력이 큽니다. 기계적인 안내 방송 톤을 벗어나 헛기침, 웃음, 한숨 같은 인간적인 호흡을 즉각적으로 섞어내는 실시간 대화형 비서나 NPC 구현이 한층 쉬워졌기 때문입니다.

업계 측면에서도 피시 오디오의 접근은 영리합니다. 폐쇄적인 환경에서 복잡한 수치 조정 방식을 고수하던 기존 TTS 솔루션들에 맞서, 자연어 프롬프트와 가중치 완전 공개를 무기로 내세웠습니다. 다만 자연어 지시가 자유로운 만큼, 매우 추상적이거나 긴 호흡의 텍스트에서 연출이 얼마나 일관되게 유지되는지는 현장 개발자들의 추가 검증이 필요해 보입니다.