NVIDIA 开源百万小时语音数据集 Granary，以及两款多语言模型

NVIDIA 联合卡耐基梅隆大学（CMU）和 Bruno Kessler 基金会开源了 Granary 数据集，以及基于它训练的 Canary-1b-v2 和 Parakeet-tdt-0.6b-v3 两款多语言语音模型，专门用来解决小语种语音识别和翻译数据不足的问题。

整套资源已经可以在 Hugging Face 上直接下载，配套的数据处理工具链也已经在 GitHub 开源。对于需要搭建多语言客服、语音助手或实时转写工具的团队来说，这是一套开箱即用的工业级底座。

Granary 包含了大约 100 万小时的音频数据。其中近 65 万小时用于自动语音识别（ASR），超过 35 万小时用于自动语音翻译（AST），覆盖了克罗地亚语、爱沙尼亚语、马耳他语等 25 种欧洲语言，基本包揽了欧盟 24 种官方语言的大多数，并加入了俄语和乌克兰语。

百万小时无标注音频怎么洗干净

这套数据集最聪明的地方在于没靠人工标数据。团队利用开源工具包 NVIDIA NeMo Speech Data Processor 搭建了一套全自动处理流水线，直接把公开的无标注语音清洗、重构成高质量训练语料。

流水线里用了 NeMo Curator 剔除合成语音样本，只保留高质量音频。随后工具包自动完成文本与音频的对齐，并统一转换成适合训练的模型格式，省掉了昂贵且耗时的人工标注流程。

根据团队提交给 Interspeech 2025 会议的论文数据，在达到相同语音识别和翻译准确率的前提下，用 Granary 训练模型所需要的数据量，只有其他常见数据集的一半左右。

Canary 主打准确，Parakeet 主打速度

同步开源的两款模型分工非常明确，覆盖了不同场景的需求，而且输出都自带大小写、标点符号以及词级时间戳。

Canary-1b-v2 参数量为 10 亿，采用宽松开源协议。它支持的语言数量从上一代的 4 种一举扩充到 25 种，支持欧洲语言的高精度转录，以及英语与这些语言之间的双向互译。

它的转写准确率目前排在 Hugging Face 开源多语言语音识别榜单第一。官方数据显示，它的转写和翻译质量可以媲美体积大它 3 倍的模型，同时推理速度快了多达 10 倍。

Parakeet-tdt-0.6b-v3 则把体积压缩到 6 亿参数，专为高吞吐和低延迟设计，是目前 Hugging Face 上吞吐量最高的多语言语音模型。它单次推理就能吃下长达 24 分钟的音频片段，并且能自动检测输入的语言类型，不需要开发者额外输入任何 prompt 引导。

为什么重要

做多语言语音产品的开发者现在很值得把它们下下来跑一跑。过去小语种语音识别不是识别率差就是模型体积太大、推理太贵，很多企业只能接入大厂收费闭源 API。这套方案用 6 亿到 10 亿参数的轻量级模型，把小语种转录的准确率和延迟拉到了生产可用水平。

对行业来说，NVIDIA 拿出来的不仅是现成模型，还把整套自动化数据清洗流程也开源了。其他语言社区完全可以复用这套 NeMo 流水线去处理东南亚、南亚或非洲的低资源语种，小语种语音识别的门槛接下来会被迅速打下来。