跳到正文
IFAI

开源项目

Kyutai 开源 Pocket TTS:1 亿参数纯 CPU 运行,首包延迟仅 200 毫秒

首次发布 传播指数 48

Kyutai 开源轻量级语音合成工具 Pocket TTS,仅 1 亿参数,专为 CPU 设计且无需 GPU。在 MacBook Air M4 上仅用 2 核即可实现 6 倍实时速度,首包延迟约 200 毫秒,支持声音克隆与超长文本,代码与模型均已公开。

Kyutai 开源 Pocket TTS:1 亿参数纯 CPU 运行,首包延迟仅 200 毫秒
图:github.com

Pocket TTS 是 Kyutai 开源的一个超轻量文本转语音工具,专门为了在普通 CPU 上顺畅跑起来而设计。它的核心模型只有 1 亿(100M)参数,完全不需要显卡或云端 API,在普通笔记本上就能实现实时的语音合成与声音克隆。

它能做什么

这个工具主打低延迟和高效率。生成第一包音频的延迟大约只有 200 毫秒,几乎感觉不到等待,很适合需要实时打断的语音对话或流式朗读场景。

在算力开销上,它在 MacBook Air M4 的 CPU 上只占用两个核心,就能跑出约 6 倍实时速度。除了 100M 的默认模型,官方还放出了 18.2M、6.9M 甚至 1.9M 参数的超小英文模型,在单 CPU 线程上最高能达到 25 倍实时速度。

功能方面,它支持无限长文本的流式输入,拿来直接读一整本有声书也不会崩溃。它还自带声音克隆功能,只要喂一段几秒钟的声音样音,就能模仿出对应的音色。

音质表现上,它的合成声音整体比较自然,语调和节奏控制得不错,甚至能读出文本里的一点讽刺语气。不过相比动辄数十亿参数的庞大 TTS 系统,它在复杂情绪的精细控制上还是略显平淡。此外,尽管项目页面标明支持英、法、德等多语言,但目前英语的表现明显最成熟稳定。

怎么跑起来

Pocket TTS 的上手门槛极低,官方提供了多种开箱即用的运行方式。

如果你装了 Python 和 uv,命令行里敲一行 uvx pocket-tts generate 就能直接下载并生成默认音频文件。想搭一个本地界面,只要运行 uvx pocket-tts serve,就能在浏览器里选声音、输文字。

对于声音克隆,如果每次都传 wav 文件解析会稍慢,官方支持用 export-voice 命令把声音特征提取成 safetensors 权重文件。后续直接读取这个小文件,无需重新计算特征,加载速度极快。

更方便的是,Kyutai 还提供了一个用 Rust 编写的独立二进制文件。无论是在 macOS、Linux 还是 Windows 上,你甚至都不需要安装 Python 或 PyTorch,解压就能直接在 CPU 上跑。社区目前也衍生出了基于 WebAssembly 的网页端版本,能在浏览器本地直接运行。

开源方面,Kyutai 不仅开源了推理代码和预训练权重,连完整的训练代码也一并公开了,开发者完全可以在其基础上训练或微调自己的模型。

为什么重要

对于想做本地端侧语音应用的开发者来说,Pocket TTS 是一个非常实用的新工具。以往在本地部署高质量语音合成,往往需要几 GB 显存的显卡,或者忍受漫长的生成等待;Pocket TTS 彻底把门槛拉到了普通轻薄本甚至移动端级别,做离线有声书播放器或本地语音助手几乎零硬件成本。

和同类动辄数亿甚至数十亿参数的模型相比,它在极小体积与可用音质之间找到了一个绝佳平衡点。我们认为,虽然它在多语言和极端细腻的情感表达上还有欠缺,但能把 100M 甚至更小的模型做到这种延迟与自然度,证明了端侧小模型在特定任务上的巨大潜力。

来源 (1)

  1. [1]
    github.com(在新标签页打开)原文github.com

每日 AI 内容精选