엔비디아, 온디바이스용 추론 모델 '라마 네모트론 나노 4B' 공개

Llama Nemotron Nano 4B는 엔비디아가 엣지 디바이스를 위해 선보인 40억 파라미터 규모의 오픈 추론 모델입니다. 클라우드 의존 없이 로컬 기기에서 복잡한 에이전트 작업을 수행할 수 있도록 설계됐습니다.

로컬 엣지 배포에 최적화된 성능

엔비디아에 따르면 이 모델은 80억 파라미터 이하의 주요 오픈 모델들과 비교해 더 높은 정확도와 50% 더 빠른 처리량을 제공합니다.

코딩, 복잡한 수학 연산, 함수 호출, 지시 준수, 과학적 작업 등 로컬 에이전트가 요구하는 핵심 역량에 최적화되어 있으며, 저비용 추론을 지원하는 하이브리드 추론 방식을 지원합니다.

배포 환경도 유연합니다. 엔비디아 젯슨 임베디드 플랫폼과 RTX GPU 탑재 PC에서 바로 실행할 수 있어 데이터 보안과 비용 절감을 동시에 챙길 수 있습니다. 모델 가중치는 허깅페이스를 통해 공개되어 바로 내려받을 수 있습니다.

왜 중요한가

로컬 환경에서 함수 호출이나 복잡한 추론을 수행해야 하지만 8B 모델의 메모리 부담이 버거웠던 개발자라면 곧바로 테스트해 볼 만합니다.

4B 크기로 기존 소형 모델들보다 50% 높은 처리량을 낸다는 점은 온디바이스 AI의 체감 지연 시간을 크게 줄여줍니다. 데스크톱 에이전트나 산업용 임베디드 기기에서 실용적인 로컬 AI를 구축하려는 이들에게 매력적인 대안입니다.