큐타이 포켓 TTS: CPU에서 실시간 구동되는 1억 파라미터 음성 합성

포켓 TTS(Pocket TTS)는 고성능 GPU 없이 일반 CPU에서 가볍게 동작하도록 설계된 큐타이(Kyutai)의 오픈소스 텍스트 음성 변환 도구입니다. 모델 크기가 1억 개(100M) 파라미터에 불과해 무거운 클라우드 API나 그래픽 카드를 쓰지 않고도 로컬 기기에서 실시간 음성 합성과 음성 복제를 구현할 수 있습니다.

무엇을 할 수 있나

포켓 TTS의 핵심은 극단적으로 낮은 지연 시간과 뛰어난 연산 효율입니다. 첫 음성 청크가 출력되기까지 걸리는 시간이 약 200ms에 불과해, 즉각적인 반응이 필요한 음성 비서나 대화형 에이전트에 적합합니다.

성능 측면에서는 M4 맥북 에어의 CPU에서 단 2개의 코어만 사용해 실시간 속도의 약 6배로 음성을 생성합니다. 기본 100M 모델 외에도 18.2M, 6.9M, 1.9M 크기의 초소형 영어 모델도 제공되며, 단일 CPU 스레드에서 최대 25배 실시간 속도까지 도달합니다.

오디오 스트리밍을 지원해 책 한 권 분량의 무제한 길이 텍스트도 끊김 없이 읽어낼 수 있습니다. 또한 짧은 샘플 음성 파일을 입력하면 화자의 목소리를 모사하는 음성 복제 기능도 갖췄습니다.

합성된 음성은 어조와 운율이 비교적 자연스럽고 기계음이 적으며, 텍스트에 담긴 미묘한 반어적 뉘앙스까지 일부 반영해 냅니다. 다만 수십억 파라미터 규모의 대형 TTS 시스템에 비해 세밀한 감정 표현의 폭은 다소 제한적입니다. 다국어 옵션이 존재하지만 현재 완성도 높게 작동하는 언어는 사실상 영어뿐입니다.

어떻게 실행하나

설치와 실행 과정은 매우 단순합니다.

파이썬 환경에서 uv가 설치되어 있다면 uvx pocket-tts generate 명령어 하나로 모델을 내려받아 즉시 기본 음성을 생성할 수 있습니다. 브라우저에서 목소리와 텍스트를 고르며 테스트하고 싶다면 uvx pocket-tts serve를 실행해 로컬 웹 인터페이스를 띄우면 됩니다.

음성 복제를 반복해서 쓸 때는 매번 오디오 파일을 변환하는 대신, export-voice 명령어로 음성 임베딩을 safetensors 파일로 저장해 두면 연산 없이 즉각 불러와 속도를 크게 높일 수 있습니다.

파이썬이나 파이토치 환경 자체가 번거롭다면 러스트(Rust) 기반으로 빌드된 독립 실행 바이너리를 내려받으면 됩니다. macOS, 리눅스, 윈도우 환경에서 추가 런타임 없이 CPU만으로 바로 실행됩니다. 나아가 브라우저에서 직접 구동할 수 있는 웹어셈블리(WebAssembly) 구현체도 커뮤니티를 통해 제공되고 있습니다.

추론 코드와 모델 가중치는 물론, 직접 모델을 훈련할 수 있는 전체 학습 코드까지 깃허브에 모두 공개되어 있습니다.

왜 중요한가

온디바이스 환경에서 음성 서비스를 만들려는 개발자에게 포켓 TTS는 매우 반가운 선택지입니다. 그동안 품질 좋은 음성을 로컬에서 뽑아내려면 수 기가바이트의 VRAM을 갖춘 GPU가 필수적이었지만, 이제는 일반 사무용 노트북의 CPU만으로도 충분히 실시간 음성 비서나 오프라인 오디오북 앱을 구축할 수 있게 되었습니다.

수 기가바이트를 넘나드는 대형 모델과 비교하면, 극소형 크기 대비 음질의 가성비가 매우 뛰어납니다. 다국어 지원과 세밀한 감정 제어는 보완해야 할 부분이지만, 100M 이하 크기에서 이 정도의 지연 시간과 자연스러움을 구현해 낸 것은 온디바이스 소형 모델의 실용성을 보여주는 훌륭한 사례로 평가할 만합니다.