跳到正文
IFAI

大模型

NVIDIA 开源 Nemotron 3 Super:专为智能体打造,吞吐量提升 5 倍

首次发布 传播指数 62

NVIDIA 开源大模型 Nemotron 3 Super。该模型总参数达 1200 亿,推理时仅激活 120 亿,并提供 100 万 token 上下文。其混合 Mamba 与 MoE 架构将智能体工作流吞吐量提升最高 5 倍,有效解决了多智能体协作时的上下文膨胀与高昂推理成本问题。

NVIDIA 开源 Nemotron 3 Super:专为智能体打造,吞吐量提升 5 倍
图:blogs.nvidia.com

Nemotron 3 Super 是 NVIDIA 推出的一款开源混合架构大模型,专为运行复杂的多智能体工作流设计。它的总参数量达到 1200 亿,但在实际推理时只激活其中的 120 亿参数,同时原生支持 100 万 token 的超长上下文窗口。

这颗模型的核心卖点,是解决当前 AI 智能体最头疼的两个瓶颈:上下文膨胀和思考成本。多智能体系统在反复调用工具和回传中间推理时,生成的 token 量经常是普通对话的 15 倍。Nemotron 3 Super 凭借混合架构,把整体工作流的吞吐量拉高了最高 5 倍,精度也比前代提升了最高 2 倍。

怎么做到的

能在 1200 亿参数下做到小模型的速度,关键在于三项底层架构设计的组合。

首先是 Mamba 与 Transformer 的混合主干。模型的大部分序列处理交给了 Mamba-2 层,利用状态空间模型的线性复杂度,把内存和计算效率提升了 4 倍,让 100 万 token 的长文本不再只是纸面参数;关键深度则穿插了 Transformer 注意力层,确保模型在大海捞针时不会丢失关键信息。

其次是 Latent MoE 技术。传统的专家混合架构在路由时容易遇到计算瓶颈,Nemotron 3 Super 在把 token 分配给专家前,先将其压缩到低秩潜空间。这让它能以调用单个专家的计算成本,同时激活 4 位专家协同计算。

再加上多 token 预测机制,模型每次前向传播能同时预测多个词,推理速度直接快了 3 倍。在最新的 Blackwell 平台上,它还支持原生 NVFP4 精度,相比 Hopper 平台上的 FP8 精度,推理速度最高能跑出 4 倍,而且基本没有精度损失。

效果与开放程度

在实际测试中,Nemotron 3 Super 拿下了 Artificial Analysis 同级别模型效率与准确率榜首。在衡量复杂多步研究能力的 DeepResearch Bench 和 DeepResearch Bench II 上,它驱动的研究智能体拿到了第一;在针对 OpenClaw 智能体表现的 PinchBench 基准测试中,它跑出了 85.6% 的高分。

在开放性上,NVIDIA 这次给得相当彻底。模型权重基于宽松许可证开源,一同公开的还有超过 10 万亿 token 的预训练与后训练数据配方,以及用于强化学习的 15 套训练环境和评估方法。

模型已经打包为 NVIDIA NIM 微服务,开发者可以在本地工作站、私有数据中心或各大公有云上私有化部署。如果你想快速体验,可以在 build.nvidia.com 在线测试,或者在 Hugging Face 下载权重,Perplexity 和 OpenRouter 也已经接入了该模型。

为什么重要

如果你正在搭建企业级自主智能体,或者需要让代码生成工具直接啃下整套工程代码,Nemotron 3 Super 非常值得现在就试。100 万 token 结合极低的活跃参数,意味着你不用再把长文档反复切片,智能体在几十轮工具调用之后也不容易发生目标漂移。

从行业来看,NVIDIA 显然想用软硬一体把竞争对手的门槛拉高。开源高吞吐的专用智能体模型,再配合自家 Blackwell 架构的 NVFP4 算力,表面上是免费送模型,实际上是在为下一代硬件生态铺路。对于不想被闭源模型 API 绑架的开发者来说,这算得上目前综合素质极强的一个开源底座。

来源 (2)

  1. [1]
    blogs.nvidia.com(在新标签页打开)原文blogs.nvidia.com
  2. [2]
    developer.nvidia.com(在新标签页打开)报道developer.nvidia.com

每日 AI 内容精选