Nvidia 開源 Nemotron-Nano-9B-v2：單張 A10 能跑，思考過程一鍵開關

Nemotron-Nano-9B-v2 是 Nvidia 推出的開源純文本小模型，主打高推理效能和極低的部署門檻。它最大的特點是把「深度思考」的控制權交給了開發者，你可以像撥動開關一樣，隨時決定讓它深思熟慮還是快速作答。

思考過程隨時開關，吞吐速度拉滿

大多數帶推理能力的模型要麼死板地一直思考，要麼根本不具備思考能力。Nemotron-Nano-9B-v2 預設會在給出最終答案前生成一段思考過程，但你只要在提示詞里加入 /think 或 /no_think 這樣的簡單控制標記，就能隨意開啟或關閉這個機制。

不僅如此，它還引入了執行時的「思考預算」管理。開發者可以給模型設定內部推理消耗的 token 上限，準確率和延遲之間的平衡完全由你說了算。對做智慧客服或者即時 Agent 的團隊來說，這種控制非常管用。

在底層架構上，它屬於 Nvidia 的 Nemotron-H 系列，沒有走純 Transformer 的老路，而是採用了 Mamba 狀態空間模型與 Transformer 的混合結構。它用線性時間狀態空間層替換了大部分注意力層，不僅在長上下文任務裡吞吐量提高到 2 至 3 倍，在同等引數下比類似尺寸的純 Transformer 速度快了最高 6 倍，還能吃下更大的併發批處理量。

專為單張 A10 剪枝，跑分壓過同級競品

在尺寸設計上，Nvidia 做得很務實。模型最初是 120 億引數，團隊專門通過剪枝把它壓縮到了 90 億引數，核心目的就是讓它能穩穩當當塞進企業裡極其常見的單張 Nvidia A10 GPU 視訊記憶體裡。

雖然體量被壓到了 9B，效能卻沒有縮水。在開啟推理模式的 NeMo-Skills 評測中，它拿下了 MATH500 97.8%、AIME25 72.1%、GPQA 64.0% 以及 LiveCodeBench 71.1% 的成績，指令遵循評測 IFEval 達到 90.3%，在 RULER 128K 長上下文測試中拿到 78.9%。在各項測試裡，它的表現全面超過了同級別的常青樹 Qwen3-8B。

該模型支援英語、德語、西班牙語、法語、義大利語、日語，以及中文、韓語、葡萄牙語和俄語。在訓練上，Nvidia 混合了清洗過的網路文本與合成數據，並藉助更大尺寸模型生成的合成推理鏈來強化解題邏輯。

目前 Nemotron-Nano-9B-v2 以及預訓練資料集已經全部上線，可以直接在 Hugging Face 和 Nvidia 官方模型目錄裡下載使用。模型採用的是 2025 年 6 月更新版 Nvidia Open Model License，對商業部署十分友好。

為什麼重要

如果你正在為私有化部署的成本發愁，或者想在單張入門級資料中心卡上跑複雜的任務流，這個模型非常值得立刻拉下來測一測。它把思考 token 變成了可量化、可調節的旋鈕，讓小模型在有限算力下也能兼顧複雜邏輯和快速響應。

和純 Transformer 競品相比，混合架構兼顧了速度與長文本能力。對行業來說，它證明了邊緣和端側不用非得死磕百億以上的大模型，把架構做聰明、把視訊記憶體卡準主流硬體，才是落地最有殺傷力的打法。