NVIDIA 开源 Nemotron 3.5 Transcribe：能认 8 人说话，可用提示词控制

Nemotron 3.5 Transcribe 是 NVIDIA 最新开源的语音大模型。它把语音识别、说话人区分、跨语言翻译以及音频问答整合进了同一个模型权重里，免去了以往把好几个模型串联起来的麻烦。

它能做什么

该模型支持 40 种语言的语音转录，能在 31 种语言与英语之间进行互译，并在 13 种语言中支持说话人分离。它单次可以处理长达 1 小时的录音文件，并且能同时准确区分最多 8 位不同的发言者。

最实用的一点在于它支持自然语言提示词控制。你可以直接告诉它输出规范化的干净文本，或者保留所有语气词的逐字记录；在录制医疗问诊或行业会议前，你还可以提前塞给它一份专业术语表，模型便会优先采用正确的专有名词拼写。此外，你甚至能直接向它提问「这次会议达成了哪些决议」，或者要求它为每一个词输出精准的时间戳。即便在多人同时抢话、插嘴的极速对话场景里，它也能把谁说了什么标记清楚。

怎么做到的与硬件规格

在架构上，它将前端语音编码器和混合了 Mamba 与 Transformer 结构的混合专家语言模型结合在一起。整个系统总参数量约为 300 亿，但因为采用了 MoE 架构，每个 token 处理时仅激活约 40 亿参数。第三方实测显示其完整规模约为 340 亿参数、激活 43 亿参数，这让它用更少的算力消耗跑出了大模型的理解水准。

在性能基准测试中，它拿下了 Hugging Face 开源语音识别榜单的英文第一名，平均词错误率仅 5.33%；在 Artificial Analysis 的语音测试中以 2.8% 的词错误率并列开源模型第一；在 David AI 跨 21 种语言的说话人分离测试中，也跑出了 18.26% 的全场最低错误率。

硬件部署方面，完整的 BF16 版本体积约为 67.5GB，而量化后的 NVFP4 版本可以压缩到 22GB 以内。在单张 RTX PRO 6000 Blackwell Server Edition 显卡上，它可以在不到 3 分钟内处理完 100 小时的音频。模型目前支持通过 vLLM 部署，也可以使用 NeMo-Speech.cpp 在本地运行，适配包括 Jetson AGX Thor 和 RTX Spark 在内的设备。

需要注意的是，该模型专为处理离线录音设计，不支持实时流式听写。NVIDIA 同时开源了配套的数据清洗管线 Granary v2 以及超过 46 万小时的公开标注清单，模型与数据集均已上线 Hugging Face 和 ModelScope。

为什么重要

以往做长音频处理，开发者通常得先把 Whisper 听写、专用说话人分离工具 pyannote 和后续的大语言模型拼成一条复杂的流水线。这种做法不仅推理延迟高，中间任何一步出错还会导致错误放大。

Nemotron 3.5 Transcribe 用一个能够听懂提示词的统一模型把整条链路收敛了。对于需要本地搭建会议纪要整理、播客听写翻译或者医疗问诊录音系统的开发者来说，单卡跑 FP4 量化版就能获得顶尖的识别与分人效果，是目前开源领域最值得尝试的离线语音底座。