Nvidia 开源语音模型 Parakeet-TDT-v2：1 秒转录 1 小时音频

Parakeet-TDT-0.6B-v2 是 Nvidia 开源的自动语音识别模型，参数量只有 6 亿，核心能力就是快：在 Nvidia GPU 上，它只需要 1 秒就能转录完 1 小时的音频。

目前这个模型直接登上了 Hugging Face Open ASR 排行榜榜首，平均词错误率（WER）压到了 6.05%。虽然和 OpenAI 的 GPT-4o-transcribe（英文 WER 2.46%）以及 ElevenLabs 的 Scribe（3.3%）这类顶尖闭源服务还有差距，但在开源阵营里已经相当强悍。更关键的是，它采用 CC-BY-4.0 开源协议，无论是做独立产品还是企业内部系统，都可以直接免费商用。

它能做到什么

Parakeet-TDT-0.6B-v2 走的是 FastConformer 编码器加 TDT 解码器的技术路线。所谓 TDT（Token-and-Duration Transducer），让模型在预测文本的同时预测持续时间，大幅减少了推理步数，这也是它速度飙升的关键。

在批处理大小设为 128 时，模型的实时因子（RTFx）达到了 3386.02，相当于一秒钟能消化将近一个小时的语音。除了输出纯文本，它还完整自带标点符号还原、英文大小写恢复，以及精细到单词级别的时间戳，拿来做视频字幕或者会议纪要基本不需要二次加工。

抗噪能力上，Nvidia 在 AMI、Earnings22、GigaSpeech 和 SPGISpeech 等多个英文基准上做了测试，即使在低信噪比和电话音质下，转录准确率也没有出现严重滑坡。

整个模型基于 Nvidia 自家的 Granary 数据集训练，包含了约 12 万小时英文音频。其中 1 万小时是高质量人工标注，另外 11 万小时是伪标签数据，来源涵盖 LibriSpeech、Mozilla Common Voice 和 YouTube-Commons 等。官方表示这个数据集会在 Interspeech 2025 演示后对外公开。

怎么跑起来

想要部署它，开发者可以通过 Nvidia 官方的 NeMo 工具包，环境兼容标准的 Python 和 PyTorch，权重文件可以直接从 Hugging Face 页面下载。

硬件方面，它深度针对 Nvidia 生态做了优化，支持 A100、H100、T4 和 V100 等显卡。如果追求极限速度，自然得上高端计算卡；但得益于仅 6 亿的轻量参数，它在最低只有 2GB 内存的环境下也能加载运行，对中小团队非常友好。

为什么重要

对于需要搭建语音转文字服务的开发者和初创团队来说，这个模型几乎是目前性价比最高的现成底座。以前想做高精度的转录功能，要么按分钟给闭源 API 付昂贵的调用账单，要么自己折腾 Whisper 忍受偏慢的推理速度；现在 Parakeet-TDT-0.6B-v2 给了第三种解法，把延迟压到了极低水平，协议还完全放开商用。

我们认为，Nvidia 这次聪明的地方在于把硬件优势和开源软件卡位绑在了一起。模型本身免费开放，却把 GPU 性能榨到了极致，相当于给自家的计算卡做了一次绝佳的买家秀。虽然它目前主要聚焦在英文转录、且需要 Nvidia 硬件才能发挥出完整实力，但对于正在被转录成本困扰的开发者来说，现在就值得下载下来跑一遍测试。