Nvidia 开源 Nemotron-Nano-9B-v2：单张 A10 能跑，思考过程一键开关

Nemotron-Nano-9B-v2 是 Nvidia 推出的开源纯文本小模型，主打高推理性能和极低的部署门槛。它最大的特点是把「深度思考」的控制权交给了开发者，你可以像拨动开关一样，随时决定让它深思熟虑还是快速作答。

思考过程随时开关，吞吐速度拉满

大多数带推理能力的模型要么死板地一直思考，要么根本不具备思考能力。Nemotron-Nano-9B-v2 默认会在给出最终答案前生成一段思考过程，但你只要在提示词里加入 /think 或 /no_think 这样的简单控制标记，就能随意打开或关闭这个机制。

不仅如此，它还引入了运行时的「思考预算」管理。开发者可以给模型设定内部推理消耗的 token 上限，准确率和延迟之间的平衡完全由你说了算。对做智能客服或者即时 Agent 的团队来说，这种控制非常管用。

在底层架构上，它属于 Nvidia 的 Nemotron-H 系列，没有走纯 Transformer 的老路，而是采用了 Mamba 状态空间模型与 Transformer 的混合结构。它用线性时间状态空间层替换了大部分注意力层，不仅在长上下文任务里吞吐量提高到 2 至 3 倍，在同等参数下比类似尺寸的纯 Transformer 速度快了最高 6 倍，还能吃下更大的并发批处理量。

专为单张 A10 剪枝，跑分压过同级竞品

在尺寸设计上，Nvidia 做得很务实。模型最初是 120 亿参数，团队专门通过剪枝把它压缩到了 90 亿参数，核心目的就是让它能稳稳当当塞进企业里极其常见的单张 Nvidia A10 GPU 显存里。

虽然体量被压到了 9B，性能却没有缩水。在开启推理模式的 NeMo-Skills 评测中，它拿下了 MATH500 97.8%、AIME25 72.1%、GPQA 64.0% 以及 LiveCodeBench 71.1% 的成绩，指令遵循评测 IFEval 达到 90.3%，在 RULER 128K 长上下文测试中拿到 78.9%。在各项测试里，它的表现全面超过了同级别的常青树 Qwen3-8B。

该模型支持英语、德语、西班牙语、法语、意大利语、日语，以及中文、韩语、葡萄牙语和俄语。在训练上，Nvidia 混合了清洗过的网络文本与合成数据，并借助更大尺寸模型生成的合成推理链来强化解题逻辑。

目前 Nemotron-Nano-9B-v2 以及预训练数据集已经全部上线，可以直接在 Hugging Face 和 Nvidia 官方模型目录里下载使用。模型采用的是 2025 年 6 月更新版 Nvidia Open Model License，对商业部署十分友好。

为什么重要

如果你正在为私有化部署的成本发愁，或者想在单张入门级数据中心卡上跑复杂的任务流，这个模型非常值得立刻拉下来测一测。它把思考 token 变成了可量化、可调节的旋钮，让小模型在有限算力下也能兼顾复杂逻辑和快速响应。

和纯 Transformer 竞品相比，混合架构兼顾了速度与长文本能力。对行业来说，它证明了边缘和端侧不用非得死磕百亿以上的大模型，把架构做聪明、把显存卡准主流硬件，才是落地最有杀伤力的打法。