跳到正文
IFAI

大模型

NVIDIA 開源 Nemotron 3 Super:專為智慧體打造,吞吐量提升 5 倍

首次發布 傳播指數 62

NVIDIA 開源大模型 Nemotron 3 Super。該模型總引數達 1200 億,推理時僅啟用 120 億,並提供 100 萬 token 上下文。其混合 Mamba 與 MoE 架構將智慧體工作流吞吐量提升最高 5 倍,有效解決了多智慧體協作時的上下文膨脹與高昂推理成本問題。

NVIDIA 開源 Nemotron 3 Super:專為智慧體打造,吞吐量提升 5 倍
圖:blogs.nvidia.com

Nemotron 3 Super 是 NVIDIA 推出的一款開源混合架構大模型,專為運行復雜的多智慧體工作流設計。它的總引數量達到 1200 億,但在實際推理時只啟用其中的 120 億引數,同時原生支援 100 萬 token 的超長上下文視窗。

這顆模型的核心賣點,是解決當前 AI 智慧體最頭疼的兩個瓶頸:上下文膨脹和思考成本。多智慧體系統在反覆呼叫工具和回傳中間推理時,生成的 token 量經常是普通對話的 15 倍。Nemotron 3 Super 憑藉混合架構,把整體工作流的吞吐量拉高了最高 5 倍,精度也比前代提升了最高 2 倍。

怎麼做到的

能在 1200 億引數下做到小模型的速度,關鍵在於三項底層架構設計的組合。

首先是 Mamba 與 Transformer 的混合主幹。模型的大部分序列處理交給了 Mamba-2 層,利用狀態空間模型的線性複雜度,把記憶體和計算效率提升了 4 倍,讓 100 萬 token 的長文本不再只是紙面引數;關鍵深度則穿插了 Transformer 注意力層,確保模型在大海撈針時不會丟失關鍵資訊。

其次是 Latent MoE 技術。傳統的專家混合架構在路由時容易遇到計算瓶頸,Nemotron 3 Super 在把 token 分配給專家前,先將其壓縮到低秩潛空間。這讓它能以呼叫單個專家的計算成本,同時啟用 4 位專家協同計算。

再加上多 token 預測機制,模型每次前向傳播能同時預測多個詞,推理速度直接快了 3 倍。在最新的 Blackwell 平臺上,它還支援原生 NVFP4 精度,相比 Hopper 平臺上的 FP8 精度,推理速度最高能跑出 4 倍,而且基本沒有精度損失。

效果與開放程度

在實際測試中,Nemotron 3 Super 拿下了 Artificial Analysis 同級別模型效率與準確率榜首。在衡量複雜多步研究能力的 DeepResearch Bench 和 DeepResearch Bench II 上,它驅動的研究智慧體拿到了第一;在針對 OpenClaw 智慧體表現的 PinchBench 基準測試中,它跑出了 85.6% 的高分。

在開放性上,NVIDIA 這次給得相當徹底。模型權重基於寬鬆許可證開源,一同公開的還有超過 10 萬億 token 的預訓練與後訓練資料配方,以及用於強化學習的 15 套訓練環境和評估方法。

模型已經打包為 NVIDIA NIM 微服務,開發者可以在本地工作站、私有資料中心或各大公有云上私有化部署。如果你想快速體驗,可以在 build.nvidia.com 線上測試,或者在 Hugging Face 下載權重,Perplexity 和 OpenRouter 也已經接入了該模型。

為什麼重要

如果你正在搭建企業級自主智慧體,或者需要讓程式碼生成工具直接啃下整套工程程式碼,Nemotron 3 Super 非常值得現在就試。100 萬 token 結合極低的活躍引數,意味著你不用再把長文件反覆切片,智慧體在幾十輪工具呼叫之後也不容易發生目標漂移。

從行業來看,NVIDIA 顯然想用軟硬一體把競爭對手的門檻拉高。開源高吞吐的專用智慧體模型,再配合自家 Blackwell 架構的 NVFP4 算力,表面上是免費送模型,實際上是在為下一代硬體生態鋪路。對於不想被閉源模型 API 綁架的開發者來說,這算得上目前綜合素質極強的一個開源底座。

來源 (2)

  1. [1]
    blogs.nvidia.com(在新分頁開啟)原文blogs.nvidia.com
  2. [2]
    developer.nvidia.com(在新分頁開啟)報導developer.nvidia.com

每日 AI 內容精選