NVIDIA 開源百萬小時語音資料集 Granary，以及兩款多語言模型

NVIDIA 聯合卡耐基梅隆大學（CMU）和 Bruno Kessler 基金會開源了 Granary 資料集，以及基於它訓練的 Canary-1b-v2 和 Parakeet-tdt-0.6b-v3 兩款多語言語音模型，專門用來解決小語種語音識別和翻譯資料不足的問題。

整套資源已經可以在 Hugging Face 上直接下載，配套的資料處理工具鏈也已經在 GitHub 開源。對於需要搭建多語言客服、語音助手或即時轉寫工具的團隊來說，這是一套開箱即用的工業級底座。

Granary 包含了大約 100 萬小時的音訊資料。其中近 65 萬小時用於自動語音識別（ASR），超過 35 萬小時用於自動語音翻譯（AST），覆蓋了克羅埃西亞語、愛沙尼亞語、馬耳他語等 25 種歐洲語言，基本包攬了歐盟 24 種官方語言的大多數，並加入了俄語和烏克蘭語。

百萬小時無標註音訊怎麼洗乾淨

這套資料集最聰明的地方在於沒靠人工標資料。團隊利用開源工具包 NVIDIA NeMo Speech Data Processor 搭建了一套全自動處理流水線，直接把公開的無標註語音清洗、重構成高質量訓練語料。

流水線裡用了 NeMo Curator 剔除合成語音樣本，只保留高質量音訊。隨後工具包自動完成文本與音訊的對齊，並統一轉換成適合訓練的模型格式，省掉了昂貴且耗時的人工標註流程。

根據團隊提交給 Interspeech 2025 會議的論文資料，在達到相同語音識別和翻譯準確率的前提下，用 Granary 訓練模型所需要的資料量，只有其他常見資料集的一半左右。

Canary 主打準確，Parakeet 主打速度

同步開源的兩款模型分工非常明確，覆蓋了不同場景的需求，而且輸出都自帶大小寫、標點符號以及詞級時間戳。

Canary-1b-v2 引數量為 10 億，採用寬鬆開源協議。它支援的語言數量從上一代的 4 種一舉擴充到 25 種，支援歐洲語言的高精度轉錄，以及英語與這些語言之間的雙向互譯。

它的轉寫準確率目前排在 Hugging Face 開源多語言語音識別榜單第一。官方資料顯示，它的轉寫和翻譯質量可以媲美體積大它 3 倍的模型，同時推理速度快了多達 10 倍。

Parakeet-tdt-0.6b-v3 則把體積壓縮到 6 億引數，專為高吞吐和低延遲設計，是目前 Hugging Face 上吞吐量最高的多語言語音模型。它單次推理就能吃下長達 24 分鐘的音訊片段，並且能自動檢測輸入的語言型別，不需要開發者額外輸入任何 prompt 引導。

為什麼重要

做多語言語音產品的開發者現在很值得把它們下下來跑一跑。過去小語種語音識別不是識別率差就是模型體積太大、推理太貴，很多企業只能接入大廠收費閉源 API。這套方案用 6 億到 10 億引數的輕量級模型，把小語種轉錄的準確率和延遲拉到了生產可用水平。

對行業來說，NVIDIA 拿出來的不僅是現成模型，還把整套自動化資料清洗流程也開源了。其他語言社群完全可以複用這套 NeMo 流水線去處理東南亞、南亞或非洲的低資源語種，小語種語音識別的門檻接下來會被迅速打下來。