跳到正文
IFAI

开源项目

体积仅 164MB:开源语音识别模型 Phonon-2 登顶同量级榜单

首次发布 传播指数 48

Fermion Research 开源轻量级语音识别模型 Phonon-2。该模型仅 164MB,基于 NVIDIA Parakeet 优化,平均字错误率仅 5.21%,在 M5 MacBook Air 上转录 1 小时音频只需 20 秒,适合在本地端侧直接部署。

体积仅 164MB:开源语音识别模型 Phonon-2 登顶同量级榜单
图:huggingface.co

Phonon-2 是 Fermion Research 开源的超轻量英语语音识别模型,整个模型下载体积只有 164MB,专为本地设备和端侧运行设计。

如果你需要离线把录音转成文字,又不想为了跑大模型给电脑加显卡或占用几个 G 的存储空间,它就是目前能找到最轻巧且精准的选择之一。在 Mac 听写应用 Detta 内部,驱动听写功能的正是这个模型。

它能做什么

虽然下载体积压缩到了 164MB,但 Phonon-2 在英语语音识别基准上的表现几乎没有缩水。

它基于 NVIDIA 的 2.5GB 全精度模型 parakeet-tdt-0.6b-v3 优化而来,体积缩小了将近 15 倍。在 Open ASR Leaderboard 的 7 个英语测试集上,它的平均字错误率仅为 5.21%,仅略低于原版大模型的 4.96%。在议会演讲场景中,它的词准确率达到了原模型的 100.8%,在会议录音场景的识别表现甚至直接超过了原版基模型。

横向对比同类模型,Phonon-2 击败了体积远大于它的竞争对手。作为对比,体积 1.6GB 的 Whisper large-v3-turbo 平均字错误率为 6.58%,约 8GB 的 Voxtral Mini 4B Realtime 为 6.12%,上一代 415MB 的 Phonon-1 则是 6.56%。在 900MB 以下的开源英语语音识别模型里,它是目前公开评测成绩最好的一款。

转录速度方面,它在日常轻薄本上就能极速运行。在 M5 MacBook Air 上,Phonon-2 转录 1 小时音频大约只需要 20 秒,速度相当于实时的 174 倍。在 8 核 Zen 5 处理器(16 vCPU)上能达到 143 倍实时速度。如果放进数据中心的单张 H100 显卡里进行批处理,转录速度甚至可以飙升至实时的 6680 倍。

怎么跑起来

Phonon-2 对本地运行环境的支持很全面,不需要复杂的配置门槛。

在苹果设备上,它支持 MLX 框架,能够直接调用 Apple Silicon 的硬件加速,同时官方还提供了适配神经引擎的 Core ML 版本。运行转录命令时加上参数,就能直接输出带逐字起止时间戳的 JSON 数据。

在其他系统上,它提供了支持 Android arm64-v8a 架构的 CPU 引擎库与 C 头文件,并支持 Linux 和 Windows。开发者也可以直接拉取官方提供的 CPU 或 GPU 版 Docker 镜像一键运行。

开源协议方面,模型权重沿用原版模型的 CC-BY-4.0 许可证,命令行工具和仓库代码则采用 Apache 2.0 许可证。想先体验效果的用户,也可以直接在 Hugging Face 页面找到免费的 Space 演示进行在线试用。

为什么重要

我们认为,Phonon-2 证明了高精度端侧语音识别不需要盲目堆砌参数量。以往在本地做语音转文字,开发者要么被迫忍受小型模型糟糕的识别率,要么只能塞进数个 G 的 Whisper 变体,严重消耗内存和电量。

如果你正在开发需要离线语音听写、会议记录或视频字幕提取的桌面与移动应用,Phonon-2 非常值得立刻替换进来测试。不到 200MB 的体积加上极快的推理速度,意味着哪怕是在低功耗轻薄本或手机端,它也能实现完全不卡顿的实时转写体验。不过需要注意,它目前主要专注于英语场景,如果你有大体量的多语言转录需求,依然需要依赖其他大型多语言模型。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选