NVIDIA 推出 Llama Nemotron Nano 4B：邊緣端小模型，吞吐量提升 50%

首次發布 2025年5月20日 17:47 [UTC]傳播指數 49

NVIDIA 推出面向邊緣裝置的開源推理模型 Llama Nemotron Nano 4B。該模型針對程式設計、複雜數學和函式呼叫等場景最佳化，比 80 億引數以內的同類模型吞吐量高出 50%，支援在 Jetson 和 RTX GPU 上部署，主打低成本混合推理。

Llama Nemotron Nano 4B 是 NVIDIA 面向邊緣裝置打造的 40 億引數開源推理模型。它的目標很簡單：讓開發者不用依賴雲端算力，在本地硬體上就能直接跑通複雜的智慧體任務。

專為本地邊緣部署最佳化

根據 NVIDIA 公佈的資料，在 80 億引數以內的同類開源模型中，Nemotron Nano 4B 擁有更高的準確率，吞吐量提升了 50%。

它針對科學任務、程式設計、複雜數學計算、函式呼叫以及指令遵循進行了專門最佳化，並且支援混合推理，主打低成本的推理體驗。

在硬體適配上，開發者可以直接將它部署在 NVIDIA Jetson 嵌入式平臺或配備 NVIDIA RTX 顯示卡的 PC 上，既保證了資料不出本地的安全性和靈活性，也壓低了硬體成本。目前該模型已經在 Hugging Face 上線，開發者可以直接下載體驗。

如果你正在開發需要函式呼叫或邏輯推理的本地智慧體，但手頭的裝置跑不動 7B 或 8B 模型，Nemotron Nano 4B 很值得現在就上手一試。

在 4B 體量上把吞吐量拉高 50%，意味著端側智慧體的響應延遲能大幅縮短。對於桌面自動化工具和邊緣嵌入式裝置的開發者來說，這是一個兼顧速度與推理能力的輕量新選擇。