Nvidia 开源 Nemotron Ultra：参数不到一半，性能硬刚 DeepSeek R1

Llama-3.1-Nemotron-Ultra-253B-v1 是 Nvidia 开源的 2530 亿参数大语言模型，能用不到 DeepSeek R1 一半的体积，跑出顶级水平的复杂推理、编程和指令遵循能力。

它最大的特点是自带「推理开关」。通过系统提示词，你可以在常规输出与深度思考之间自由切换，用来搭建兼顾日常对话与高难度任务的 AI 助手。

它是怎么缩减体积的

这个模型并不是从零训练的，而是基于 Meta 的 Llama-3.1-405B-Instruct 大改而来。

Nvidia 没有简单粗暴地裁剪模型，而是用神经架构搜索（NAS）重构了内部结构，引入了跳跃注意力层、融合前馈网络（FFN）以及可变压缩比。这一套改造大幅削减了显存占用和算力消耗，让一个 253B 的稠密模型刚好能塞进单台 8 卡 H100 节点里运行。

随后，Nvidia 对它进行了两段密集训练：先通过知识蒸馏跑了 650 亿 token，再在 FineWeb、Buzz-V1.2 和 Dolma 等数据集上继续预训练了 880 亿 token。

在后训练阶段，团队先做跨领域的监督微调，再用群体相对策略优化（GRPO）强化学习，专门训练它在开启推理模式时的长链条推导能力。

实际性能与硬件要求

打开推理模式后，模型的解题能力会有质的提升。在数学测试 MATH500 上，它的得分从标准模式的 80.40% 冲到了 97.00%；在更难的 AIME25 上，成绩从 16.67% 飙升至 72.50%；LiveCodeBench 编程得分也直接翻倍，从 29.03% 涨到 66.31%。

拿它和当前最红的开源推理模型、总参数量 6710 亿的 DeepSeek R1 相比，Nemotron Ultra-253B 在多个通用评测上甚至小幅反超。它的 GPQA 问答得分达到 76.01（DeepSeek 为 71.5），指令遵循测试 IFEval 为 89.45（DeepSeek 为 83.3），LiveCodeBench 代码生成则是 66.31 略高于 65.9。

不过在极限数学推导上，DeepSeek R1 依然保持优势，其 AIME25 得分为 79.8，高于 Nemotron 的 72.50。

硬件方面，模型已验证支持 Nvidia Hopper 和 B100 架构，支持 BF16 和 FP8 精度。它支持高达 128k 的上下文长度，除了英语外，还支持德语、法语、西班牙语、泰语等多种语言。

代码、模型权重以及后训练数据目前已完全在 Hugging Face 上开源，推荐使用 4.48.3 或更高版本的 Transformers 库。官方建议做推理任务时采用 0.6 的温度和 0.95 的 top-p，普通任务则使用贪婪解码。

为什么重要

如果你是企业开发者或私有化部署团队，之前想跑顶级推理模型，往往被 DeepSeek R1 那种 671B 的庞然大物卡在集群门槛上。Nemotron Ultra 证明了单台 8 卡 H100 就能扛住顶级推理任务，部署和维护成本直接降了一个台阶。

我们认为，Nvidia 这次很聪明地展示了「后训练和架构重构」的威力。它没有去拼更大的参数，而是把别人的开源底座精简重造，既卖了自己的算力优化方案，又给开源社区提供了一个极具性价比的高性能替代品。