NVIDIA 推出 Llama Nemotron Nano 4B：边缘端小模型，吞吐量提升 50%

首次发布 2025年5月20日 UTC 17:47传播指数 49

NVIDIA 推出面向边缘设备的开源推理模型 Llama Nemotron Nano 4B。该模型针对编程、复杂数学和函数调用等场景优化，比 80 亿参数以内的同类模型吞吐量高出 50%，支持在 Jetson 和 RTX GPU 上部署，主打低成本混合推理。

Llama Nemotron Nano 4B 是 NVIDIA 面向边缘设备打造的 40 亿参数开源推理模型。它的目标很简单：让开发者不用依赖云端算力，在本地硬件上就能直接跑通复杂的智能体任务。

专为本地边缘部署优化

根据 NVIDIA 公布的数据，在 80 亿参数以内的同类开源模型中，Nemotron Nano 4B 拥有更高的准确率，吞吐量提升了 50%。

它针对科学任务、编程、复杂数学计算、函数调用以及指令遵循进行了专门优化，并且支持混合推理，主打低成本的推理体验。

在硬件适配上，开发者可以直接将它部署在 NVIDIA Jetson 嵌入式平台或配备 NVIDIA RTX 显卡的 PC 上，既保证了数据不出本地的安全性和灵活性，也压低了硬件成本。目前该模型已经在 Hugging Face 上线，开发者可以直接下载体验。

如果你正在开发需要函数调用或逻辑推理的本地智能体，但手头的设备跑不动 7B 或 8B 模型，Nemotron Nano 4B 很值得现在就上手一试。

在 4B 体量上把吞吐量拉高 50%，意味着端侧智能体的响应延迟能大幅缩短。对于桌面自动化工具和边缘嵌入式设备的开发者来说，这是一个兼顾速度与推理能力的轻量新选择。