NVIDIA 推出 Nemotron 3 Ultra:混合架构吞吐提 5 倍,专攻长程智能体
NVIDIA 发布开源模型 Nemotron 3 Ultra。该模型总参数 550B、激活参数 55B,采用 Mamba 与 Transformer 混合架构,吞吐量达同类开源模型 5 倍,能将智能体任务成本降低最高 30%。官方同步推出了 4B 安全护栏模型及低延迟多语言语音模型。
Nemotron 3 Ultra 是 NVIDIA 推出的一款开源 MoE 模型,专门用来给长程自律智能体做复杂推理和任务编排。它拥有 550B 总参数,但每次前向传播只激活 55B 参数,上下文长度直接拉到了 1M token。
在多轮工具调用、代码重构或深度调研任务里,普通模型往往会因为反复调用堆积上下文,导致推理成本飞涨,且容易偏离目标。Nemotron 3 Ultra 的目标就是提升处理速度并压缩每轮交互的 token 消耗,在保证深层推理的同时将智能体任务成本降低最高 30%。
怎么做到的与实测表现
Nemotron 3 Ultra 采用了 Mamba 与 Transformer 混合架构。Mamba 负责在超长上下文下维持高吞吐,Transformer 则负责在长窗口中精准召回具体事实,两者结合平衡了效率与召回率。
模型原生支持 NVFP4 精度,同一套权重可以跨 NVIDIA Ampere、Hopper 和 Blackwell 显卡运行。得益于 NVFP4 和多 token 预测机制,它实现了同类开源模型 5 倍的吞吐量,在 Blackwell 上相比 BF16 也具备明显的吞吐优势。
在 100 万 token 上下文测试 Ruler @1M 上,Nemotron 3 Ultra 取得了 95% 的准确率,高于 Qwen3.5 的 90%,而 GLM 5.1 与 Kimi K2.6 在该测试中上下文上限仅为 256K。在智能体效率评测 PinchBench 上它拿到 91% 的成绩,在 SWE-bench Verified 代码基准中,配合 OpenHands、Hermes 等不同智能体框架,得分稳定在 65% 至 70.4% 之间。
训练上,NVIDIA 采用了多教师在线策略蒸馏方法,由十几个领域专家模型提供密集的奖励信号,并在 10T token 基础上追加了 212B 领域数据,包括 4B 法律合成数据、35B 维基数据和 173B 过滤后的 GitHub 代码。
官方还同步推出了两个辅助模型:4B 参数的 Nemotron 3.5 Content Safety 安全护栏模型,覆盖 23 个安全类别和 12 种语言;以及端到端延迟低于 100ms 的 Nemotron 3.5 ASR 语音模型,单 checkpoint 支持 40 多种语言。
硬件要求与怎么上手
该模型采用 Linux 基金会的 OpenMDW-1.1 许可证开源,不仅开放了权重,还放出了 NeMo 训练脚本、微调配方以及数千万条训练样本。
由于总参数量达到 550B,本地运行需要高规格算力支持。云端部署方面,AWS 已经在 SageMaker JumpStart 上提供了基于 ml.p5en.48xlarge、ml.p5.48xlarge 或 ml.g7e.48xlarge 等实例的一键部署方案。
在推理框架上,vLLM、SGLang 和 TensorRT-LLM 均已提供支持,官方也打包了 NVIDIA NIM 微服务。想要先体验的开发者可以在 build.nvidia.com 在线测试,或通过 Perplexity Pro、OpenRouter 调用。
在智能体运行时方面,官方提供了配套的 NVIDIA OpenShell 安全执行沙箱和 NemoClaw 部署工具,方便配合 Hermes Agent、OpenClaw 等开源编排框架快速跑起来。
为什么重要
如果你正在开发需要长线规划、代码生成或复杂工具调用的自律智能体系统,Nemotron 3 Ultra 很值得现在评估。它把激活参数压在 55B,换来了极高的吞吐和更低的单轮 token 开销,1M 上下文在长程任务里能减少因记忆截断带来的状态丢失。
不过 550B 的总参数量仍然是硬门槛,即便有 NVFP4 量化,单机部署的显存要求对个人和初创团队来说依然遥不可及,现阶段最务实的用法还是直接调用第三方推理 API 或云端托管实例。
从行业来看,NVIDIA 这一次不仅拿出了顶尖水准的开源大模型,还将数据管线、蒸馏框架和沙箱运行时成套交付。这表明智能体底座的竞争焦点正从单轮基准跑分,全面转向多轮运行时的吞吐效率和综合部署成本。
来源 (2)
- developer.nvidia.com(在新标签页打开)原文developer.nvidia.com
- aws.amazon.com(在新标签页打开)报道aws.amazon.com