NVIDIA 釋出 Nemotron 3.5：120B 多模態吞吐快 5 倍，端側模型進 RTX

NVIDIA 的 Nemotron 3.5 是一套專為多步驟智慧體打造的開源模型家族。它包含 120B 引數的多模態旗艦 Super VL，以及能在消費級顯示卡上跑起來的端側模型 Bolt 74B-A9B。它的核心定位不是去拼極限的數學或推理刷榜，而是把吞吐量和執行效率拉滿，幫企業和個人在本地或自有算力上跑全天候自動化任務。

它能做什麼與怎麼做到的

Super VL 把影像、網頁、PDF 和影片理解與工具呼叫合在了一起。過去做多模態智慧體，往往需要先用一個視覺模型看圖提字，再傳給另一個大語言模型做決策，資訊很容易在中間斷層。Super VL 直接單模型端到端處理，看懂圖表和版面結構後立即觸發下一步操作。

能在保持能力的同時做到同類模型 5 倍的吞吐量，關鍵在於它採用了 120B 引數的混合專家（MoE）架構，每個 token 實際只啟用 12B 引數。模型預訓練吸收了約 26 萬億 token，並經過了約 380 萬樣本的有監督微調和強化學習。配合 NVIDIA Dynamo 執行，官方資料顯示能將併發支援人數提升 8 倍，延遲降低 85%。

另一款面向本地的 Bolt 74B-A9B 走的是高整合路線。它通過原生 2-bit 量化，把執行視訊記憶體剛好壓縮在 24GB 以內。你可以把它放在後臺，讓它在本地自主進行網頁搜尋、閱讀抓取、寫程式碼和排錯。在 PinchBench 測試中它是同級別開源模型第一名，BrowseComp 排名第二。

硬體要求與實測表現

想在本地部署 Super VL 依然需要嚴肅的硬體。雖然推理啟用只有 12B，但完整權重體積在 75GB 左右，需要 DGX Spark、DGX Station、RTX PRO 或伺服器多卡環境支援。根據第三方評測，這套 MoE 架構在實測中能跑出每秒 600 token 以上的生成速度，非常適合吞吐優先的高併發任務。

相比之下，Bolt 74B-A9B 的門檻親民得多。單張 24GB 視訊記憶體的 GeForce RTX 顯示卡即可常駐執行，支援 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM 等常見推理後端。面向更小邊緣裝置、僅佔 4GB 視訊記憶體的 Bolt E4B 則定於 10 月 23 日釋出。

目前 Super VL 和 Bolt 74B-A9B 的權重、訓練配方以及包含 40 個視覺語言資料集在內的訓練資料，都已經放在 Hugging Face 和 ModelScope 上，也可以直接用 NVIDIA NIM 部署。

為什麼重要

對於本地開發者和中小團隊來說，Bolt 74B-A9B 很值得立刻上手試用。以前 24GB 視訊記憶體跑本地智慧體非常尷尬，小引數模型缺乏多步驟規劃能力，大模型又塞不進卡；Bolt 靠原生 2-bit 量化在智慧與體積之間找到了平衡點，讓不涉密的自動化流水線真正能在工作站上全天掛機。

不過，你也需要看清它的短板。在第三方測試中，Super VL 的純邏輯推理分數並不拔尖，甚至遜色於 Qwen 3.8-27B 或 MiniMax 等同類開源模型。如果你需要高難度邏輯推理，它並非最優解；但如果你要在企業內網處理大批次的票據識別、文件核對和長流程跨工具協作，它的吞吐優勢和完全開放的定製許可權，是目前市面上極具價效比的選擇。