Underdog 开源 Bark 3.0:163MB 语音模型,5 分钟音频半秒转完
本周,Underdog 在 Hugging Face 开源语音转文字模型 Bark 3.0,体积仅 163 MB,在苹果 M 系列芯片上转写 5 分钟音频仅需半秒。它的英文会议错误率明显低于 Whisper Large,Clean 版本还能自动过滤掉口头禅。不过目前仅支持英文。

Underdog 刚刚开源的 Bark 3.0,是一个极小但极快的离线语音转文字模型。
它的下载体积只有 163 MB,转写速度极快,在搭载 M5 Max 芯片的 MacBook Pro 上,转写 5 分钟的音频只需要半秒钟,比实时音频快了 595 倍。更重要的是,在实际英文转写表现上,它甚至比体积大它数十倍的常见模型还要精准。
把它塞进笔记本,效果还压过大模型
Bark 3.0 并不是从零训练的大怪物,它是基于英伟达的 parakeet-tdt-0.6b-v3 和 Moondream 的 parakeet-ultra 架构打磨出来的,两个上游项目均采用 CC-BY 4.0 协议。
开发者这次一共放出了几个不同版本。除了 163 MB 的标准版 Bark 3.0,还有一个 180 MB 的 Plus 版本,以及一个 1.25 GB 的 Pro 完整精度版本。即使是最大的 Pro 版本,也可以轻松塞进绝大多数消费级显卡或笔记本内存中。
在公开的 Open ASR 基准测试涵盖的 7 个英文测试集里,163 MB 的标准版平均词错误率为 4.94%,180 MB 的 Plus 版为 4.76%,Pro 版更是压到了 4.29%。
作为对比,体积超过 9 GB 的 Whisper large-v3 平均错误率是 6.04%,体积 2.5 GB 的英伟达 Parakeet TDT 则是 4.94%。也就是说,Bark 3.0 仅用 Whisper 大约五十七分之一的大小,就跑出了更好的识别率。
这种差距在杂乱的会议场景尤为明显。在 AMI 会议数据集上,Whisper large-v3 的错误率高达 13.63%,Parakeet 为 9.42%,而只有 163 MB 的 Bark 3.0 只有 7.82%。
专门过滤废话的 Clean 版本
人们日常说话从来不会像书面文字那样规范。日常口语里塞满了「um」、「uh」、口误、重复词和无意义的口头禅。
针对这个痛点,Underdog 专门训练了一个 180 MB 的 Bark 3.0 Clean 版本。当你录入一段结结巴巴的话,比如「Um, I don-, I can’t think off my head」,它输出的文字会自动清理成干净利落的「I can’t think off my head」。在针对口语结巴的 DisfluencySpeech 评测中,Clean 版本的转写错误率只有 4.08%。
不过,目前使用 Bark 3.0 也有几个明显的局限。首先是语言支持,它目前仅支持英文,其他语言在官方客户端里仍需回退到 Whisper;其次,它目前还不支持逐字时间戳输出,也没法在会议记录中区分不同发言人;此外,早期版本支持的自定义专有名词词表,目前也还没兼容 3.0。
怎么上手
开发者已经把所有权重文件完整上传到了 Hugging Face。该系列模型使用允许署名后商用的开源许可证,商用或个人开发都相对自由。
如果你只是想听听效果,Hugging Face 上提供了可以直接录音试用的网页 Demo,点击转写一秒内就能看到文本。如果你想把它部署在自己的本地应用里,模型页面底部也附带了完整的本地运行代码和环境配置说明。
为什么重要
我们认为,Bark 3.0 给端侧本地 AI 树立了一个非常实在的标杆。它证明了在特定任务上,端侧模型不需要动辄几个 GB 甚至几十 GB 的臃肿体积,百兆级别加上优秀的架构蒸馏,就已经完全能在实用场景里击败庞大的通用模型。
如果你正在开发需要实时听写、会议整理或本地隐私保护的桌面工具,只要场景局限在英文,Bark 3.0 绝对值得现在就拿来替换掉沉重的 Whisper。它既省显存又省电,半秒出结果的体验甚至让原本需要云端 API 交互的语音功能,彻底变成了零延迟的本地功能。
来源 (3)
- huggingface.co(在新标签页打开)原文huggingface.co
- underdog.ai(在新标签页打开)报道underdog.ai
- youtube.com(在新标签页打开)报道youtube.com