Nvidia 開源語音模型 Parakeet-TDT-v2：1 秒轉錄 1 小時音訊

Parakeet-TDT-0.6B-v2 是 Nvidia 開源的自動語音識別模型，引數量只有 6 億，核心能力就是快：在 Nvidia GPU 上，它只需要 1 秒就能轉錄完 1 小時的音訊。

目前這個模型直接登上了 Hugging Face Open ASR 排行榜榜首，平均詞錯誤率（WER）壓到了 6.05%。雖然和 OpenAI 的 GPT-4o-transcribe（英文 WER 2.46%）以及 ElevenLabs 的 Scribe（3.3%）這類頂尖閉源服務還有差距，但在開源陣營裡已經相當強悍。更關鍵的是，它採用 CC-BY-4.0 開源協議，無論是做獨立產品還是企業內部系統，都可以直接免費商用。

它能做到什麼

Parakeet-TDT-0.6B-v2 走的是 FastConformer 編碼器加 TDT 解碼器的技術路線。所謂 TDT（Token-and-Duration Transducer），讓模型在預測文本的同時預測持續時間，大幅減少了推理步數，這也是它速度飆升的關鍵。

在批處理大小設為 128 時，模型的即時因子（RTFx）達到了 3386.02，相當於一秒鐘能消化將近一個小時的語音。除了輸出純文本，它還完整自帶標點符號還原、英文大小寫恢復，以及精細到單詞級別的時間戳，拿來做影片字幕或者會議紀要基本不需要二次加工。

抗噪能力上，Nvidia 在 AMI、Earnings22、GigaSpeech 和 SPGISpeech 等多個英文基準上做了測試，即使在低訊雜比和電話音質下，轉錄準確率也沒有出現嚴重滑坡。

整個模型基於 Nvidia 自家的 Granary 資料集訓練，包含了約 12 萬小時英文音訊。其中 1 萬小時是高質量人工標註，另外 11 萬小時是偽標籤資料，來源涵蓋 LibriSpeech、Mozilla Common Voice 和 YouTube-Commons 等。官方表示這個資料集會在 Interspeech 2025 演示後對外公開。

怎麼跑起來

想要部署它，開發者可以通過 Nvidia 官方的 NeMo 工具包，環境相容標準的 Python 和 PyTorch，權重檔案可以直接從 Hugging Face 頁面下載。

硬體方面，它深度針對 Nvidia 生態做了最佳化，支援 A100、H100、T4 和 V100 等顯示卡。如果追求極限速度，自然得上高階計算卡；但得益於僅 6 億的輕量引數，它在最低只有 2GB 記憶體的環境下也能載入執行，對中小團隊非常友好。

為什麼重要

對於需要搭建語音轉文字服務的開發者和初創團隊來說，這個模型幾乎是目前價效比最高的現成底座。以前想做高精度的轉錄功能，要麼按分鐘給閉源 API 付昂貴的呼叫賬單，要麼自己折騰 Whisper 忍受偏慢的推理速度；現在 Parakeet-TDT-0.6B-v2 給了第三種解法，把延遲壓到了極低水平，協議還完全放開商用。

我們認為，Nvidia 這次聰明的地方在於把硬體優勢和開源軟體卡位綁在了一起。模型本身免費開放，卻把 GPU 效能榨到了極致，相當於給自家的計算卡做了一次絕佳的買家秀。雖然它目前主要聚焦在英文轉錄、且需要 Nvidia 硬體才能發揮出完整實力，但對於正在被轉錄成本困擾的開發者來說，現在就值得下載下來跑一遍測試。