NVIDIA 開源 Nemotron 3.5 Transcribe：能認 8 人說話，可用提示詞控制

Nemotron 3.5 Transcribe 是 NVIDIA 最新開源的語音大模型。它把語音識別、說話人區分、跨語言翻譯以及音訊問答整合進了同一個模型權重裡，免去了以往把好幾個模型串聯起來的麻煩。

它能做什麼

該模型支援 40 種語言的語音轉錄，能在 31 種語言與英語之間進行互譯，並在 13 種語言中支援說話人分離。它單次可以處理長達 1 小時的錄音檔案，並且能同時準確區分最多 8 位不同的發言者。

最實用的一點在於它支援自然語言提示詞控制。你可以直接告訴它輸出規範化的乾淨文本，或者保留所有語氣詞的逐字記錄；在錄製醫療問診或行業會議前，你還可以提前塞給它一份專業術語表，模型便會優先採用正確的專有名詞拼寫。此外，你甚至能直接向它提問「這次會議達成了哪些決議」，或者要求它為每一個詞輸出精準的時間戳。即便在多人同時搶話、插嘴的極速對話場景裡，它也能把誰說了什麼標記清楚。

怎麼做到的與硬體規格

在架構上，它將前端語音編碼器和混合了 Mamba 與 Transformer 結構的混合專家語言模型結合在一起。整個系統總引數量約為 300 億，但因為採用了 MoE 架構，每個 token 處理時僅啟用約 40 億引數。第三方實測顯示其完整規模約為 340 億引數、啟用 43 億引數，這讓它用更少的算力消耗跑出了大模型的理解水準。

在效能基準測試中，它拿下了 Hugging Face 開源語音識別榜單的英文第一名，平均詞錯誤率僅 5.33%；在 Artificial Analysis 的語音測試中以 2.8% 的詞錯誤率並列開源模型第一；在 David AI 跨 21 種語言的說話人分離測試中，也跑出了 18.26% 的全場最低錯誤率。

硬體部署方面，完整的 BF16 版本體積約為 67.5GB，而量化後的 NVFP4 版本可以壓縮到 22GB 以內。在單張 RTX PRO 6000 Blackwell Server Edition 顯示卡上，它可以在不到 3 分鐘內處理完 100 小時的音訊。模型目前支援通過 vLLM 部署，也可以使用 NeMo-Speech.cpp 在本地執行，適配包括 Jetson AGX Thor 和 RTX Spark 在內的裝置。

需要注意的是，該模型專為處理離線錄音設計，不支援即時流式聽寫。NVIDIA 同時開源了配套的資料清洗管線 Granary v2 以及超過 46 萬小時的公開標註清單，模型與資料集均已上線 Hugging Face 和 ModelScope。

為什麼重要

以往做長音訊處理，開發者通常得先把 Whisper 聽寫、專用說話人分離工具 pyannote 和後續的大語言模型拼成一條複雜的流水線。這種做法不僅推理延遲高，中間任何一步出錯還會導致錯誤放大。

Nemotron 3.5 Transcribe 用一個能夠聽懂提示詞的統一模型把整條鏈路收斂了。對於需要本地搭建會議紀要整理、播客聽寫翻譯或者醫療問診錄音系統的開發者來說，單卡跑 FP4 量化版就能獲得頂尖的識別與分人效果，是目前開源領域最值得嘗試的離線語音底座。