Nvidia 開源 Nemotron Ultra：引數不到一半，效能硬剛 DeepSeek R1

Llama-3.1-Nemotron-Ultra-253B-v1 是 Nvidia 開源的 2530 億引數大語言模型，能用不到 DeepSeek R1 一半的體積，跑出頂級水平的複雜推理、程式設計和指令遵循能力。

它最大的特點是自帶「推理開關」。通過系統提示詞，你可以在常規輸出與深度思考之間自由切換，用來搭建兼顧日常對話與高難度任務的 AI 助手。

它是怎麼縮減體積的

這個模型並不是從零訓練的，而是基於 Meta 的 Llama-3.1-405B-Instruct 大改而來。

Nvidia 沒有簡單粗暴地裁剪模型，而是用神經架構搜尋（NAS）重構了內部結構，引入了跳躍注意力層、融合前饋網路（FFN）以及可變壓縮比。這一套改造大幅削減了視訊記憶體佔用和算力消耗，讓一個 253B 的稠密模型剛好能塞進單臺 8 卡 H100 節點裡執行。

隨後，Nvidia 對它進行了兩段密集訓練：先通過知識蒸餾跑了 650 億 token，再在 FineWeb、Buzz-V1.2 和 Dolma 等資料集上繼續預訓練了 880 億 token。

在後訓練階段，團隊先做跨領域的監督微調，再用群體相對策略最佳化（GRPO）強化學習，專門訓練它在開啟推理模式時的長鏈條推導能力。

實際效能與硬體要求

開啟推理模式後，模型的解題能力會有質的提升。在數學測試 MATH500 上，它的得分從標準模式的 80.40% 衝到了 97.00%；在更難的 AIME25 上，成績從 16.67% 飆升至 72.50%；LiveCodeBench 程式設計得分也直接翻倍，從 29.03% 漲到 66.31%。

拿它和當前最紅的開源推理模型、總引數量 6710 億的 DeepSeek R1 相比，Nemotron Ultra-253B 在多個通用評測上甚至小幅反超。它的 GPQA 問答得分達到 76.01（DeepSeek 為 71.5），指令遵循測試 IFEval 為 89.45（DeepSeek 為 83.3），LiveCodeBench 程式碼生成則是 66.31 略高於 65.9。

不過在極限數學推導上，DeepSeek R1 依然保持優勢，其 AIME25 得分為 79.8，高於 Nemotron 的 72.50。

硬體方面，模型已驗證支援 Nvidia Hopper 和 B100 架構，支援 BF16 和 FP8 精度。它支援高達 128k 的上下文長度，除了英語外，還支援德語、法語、西班牙語、泰語等多種語言。

程式碼、模型權重以及後訓練資料目前已完全在 Hugging Face 上開源，推薦使用 4.48.3 或更高版本的 Transformers 庫。官方建議做推理任務時採用 0.6 的溫度和 0.95 的 top-p，普通任務則使用貪婪解碼。

為什麼重要

如果你是企業開發者或私有化部署團隊，之前想跑頂級推理模型，往往被 DeepSeek R1 那種 671B 的龐然大物卡在叢集門檻上。Nemotron Ultra 證明了單臺 8 卡 H100 就能扛住頂級推理任務，部署和維護成本直接降了一個臺階。

我們認為，Nvidia 這次很聰明地展示了「後訓練和架構重構」的威力。它沒有去拼更大的引數，而是把別人的開源底座精簡重造，既賣了自己的算力最佳化方案，又給開源社群提供了一個極具價效比的高效能替代品。