NVIDIA 发布 Nemotron 3.5：120B 多模态吞吐快 5 倍，端侧模型进 RTX

NVIDIA 的 Nemotron 3.5 是一套专为多步骤智能体打造的开源模型家族。它包含 120B 参数的多模态旗舰 Super VL，以及能在消费级显卡上跑起来的端侧模型 Bolt 74B-A9B。它的核心定位不是去拼极限的数学或推理刷榜，而是把吞吐量和运行效率拉满，帮企业和个人在本地或自有算力上跑全天候自动化任务。

它能做什么与怎么做到的

Super VL 把图像、网页、PDF 和视频理解与工具调用合在了一起。过去做多模态智能体，往往需要先用一个视觉模型看图提字，再传给另一个大语言模型做决策，信息很容易在中间断层。Super VL 直接单模型端到端处理，看懂图表和版面结构后立即触发下一步操作。

能在保持能力的同时做到同类模型 5 倍的吞吐量，关键在于它采用了 120B 参数的混合专家（MoE）架构，每个 token 实际只激活 12B 参数。模型预训练吸收了约 26 万亿 token，并经过了约 380 万样本的有监督微调和强化学习。配合 NVIDIA Dynamo 运行，官方数据显示能将并发支持人数提升 8 倍，延迟降低 85%。

另一款面向本地的 Bolt 74B-A9B 走的是高集成路线。它通过原生 2-bit 量化，把运行显存刚好压缩在 24GB 以内。你可以把它放在后台，让它在本地自主进行网页搜索、阅读抓取、写代码和排错。在 PinchBench 测试中它是同级别开源模型第一名，BrowseComp 排名第二。

硬件要求与实测表现

想在本地部署 Super VL 依然需要严肃的硬件。虽然推理激活只有 12B，但完整权重体积在 75GB 左右，需要 DGX Spark、DGX Station、RTX PRO 或服务器多卡环境支持。根据第三方评测，这套 MoE 架构在实测中能跑出每秒 600 token 以上的生成速度，非常适合吞吐优先的高并发任务。

相比之下，Bolt 74B-A9B 的门槛亲民得多。单张 24GB 显存的 GeForce RTX 显卡即可常驻运行，支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM 等常见推理后端。面向更小边缘设备、仅占 4GB 显存的 Bolt E4B 则定于 10 月 23 日发布。

目前 Super VL 和 Bolt 74B-A9B 的权重、训练配方以及包含 40 个视觉语言数据集在内的训练数据，都已经放在 Hugging Face 和 ModelScope 上，也可以直接用 NVIDIA NIM 部署。

为什么重要

对于本地开发者和中小团队来说，Bolt 74B-A9B 很值得立刻上手试用。以前 24GB 显存跑本地智能体非常尴尬，小参数模型缺乏多步骤规划能力，大模型又塞不进卡；Bolt 靠原生 2-bit 量化在智能与体积之间找到了平衡点，让不涉密的自动化流水线真正能在工作站上全天挂机。

不过，你也需要看清它的短板。在第三方测试中，Super VL 的纯逻辑推理分数并不拔尖，甚至逊色于 Qwen 3.8-27B 或 MiniMax 等同类开源模型。如果你需要高难度逻辑推理，它并非最优解；但如果你要在企业内网处理大批量的票据识别、文档核对和长流程跨工具协作，它的吞吐优势和完全开放的定制权限，是目前市面上极具性价比的选择。