NVIDIA 推出 Llama Nemotron Nano 4B:邊緣端小模型,吞吐量提升 50%
NVIDIA 推出面向邊緣裝置的開源推理模型 Llama Nemotron Nano 4B。該模型針對程式設計、複雜數學和函式呼叫等場景最佳化,比 80 億引數以內的同類模型吞吐量高出 50%,支援在 Jetson 和 RTX GPU 上部署,主打低成本混合推理。
NVIDIA 推出面向邊緣裝置的開源推理模型 Llama Nemotron Nano 4B。該模型針對程式設計、複雜數學和函式呼叫等場景最佳化,比 80 億引數以內的同類模型吞吐量高出 50%,支援在 Jetson 和 RTX GPU 上部署,主打低成本混合推理。