엔비디아, Nemotron 3.5 Lightning 공개: 에이전트 실행에 특화된 30B MoE

Nemotron 3.5 Lightning은 엔비디아가 오픈 소스로 공개한 30B 규모의 전문가 혼합(MoE) 모델입니다. 토큰당 활성화 파라미터를 단 3B로 억제해, 상시 구동되는 AI 에이전트의 반복적이고 빈도 높은 실행 작업을 처리하도록 설계되었습니다.

에이전트 시스템을 장시간 돌릴 때 토큰을 가장 많이 소모하는 부분은 깊은 추론이 아니라 도구 호출, 코드 실행, 결과값 유효성 검사, 하위 에이전트 분기 같은 단순 실행 작업입니다. 모든 실행 단계마다 고가의 프론티어 추론 모델을 호출하면 지연 시간과 비용이 감당하기 힘들 정도로 늘어납니다.

엔비디아는 고차원 계획과 조율은 상위 모델에 맡기고, 대량의 실행 업무는 Nemotron 3.5 Lightning이 전담하는 분업 구조를 제시했습니다. 함께 공개된 스마트 라우팅 오픈 소스 라이브러리인 NeMo Switchyard를 연동하면 작업 성격에 맞춰 최적의 모델로 프롬프트를 자동 분배할 수 있습니다.

무엇을 할 수 있고, 어떻게 빠른가

Nemotron 3.5 Lightning의 핵심은 에이전트 환경에서의 압도적인 처리 속도입니다. 100만 토큰의 컨텍스트 윈도우를 지원하며, OpenClaw나 Hermes Agent 같은 주요 에이전트 프레임워크에 맞춰 최적화 훈련을 마쳤습니다.

속도를 극한으로 끌어올릴 수 있었던 배경에는 세 가지 요소가 있습니다. 첫째는 30B 중 3B만 연산에 참여하는 MoE 구조이며, 둘째는 사전 학습 단계부터 멀티 토큰 예측(MTP)을 반영한 추측 디코딩 기술입니다. 상황에 맞게 골라 쓸 수 있는 DSpark와 DFlash라는 전용 드래프트 모델도 함께 제공됩니다. 셋째로 BF16 외에 NVFP4 양자화 체크포인트를 기본 지원합니다.

PinchBench 벤치마크에서 이 모델은 86%의 정확도를 기록했으며, 비슷한 정확도를 지닌 Qwen3.6 35B보다 1만 개의 작업을 30% 더 빠르게 완수했습니다. 벤치마크 분석에 따르면 종합적인 추론 지능 자체는 Qwen3.6에 다소 못 미치지만, 출력 속도만큼은 Gemini 3.6 Flash를 앞설 정도로 빠릅니다.

하드웨어 요구 사양과 공개 범위

NVFP4 양자화 버전을 사용할 경우 전체 파일 크기가 약 22GB 수준에 불과합니다. 따라서 데이터센터뿐 아니라 GeForce RTX 5090 탑재 데스크톱, NVIDIA DGX Spark, Jetson 등 로컬 기기에서도 직접 구동할 수 있습니다.

추론 소프트웨어 지원도 폭넓습니다. Ollama, llama.cpp, LM Studio, Unsloth 등 대중적인 로컬 도구는 물론 vLLM, SGLang, TensorRT-LLM과도 바로 연동됩니다.

라이선스는 허용적인 OpenMDW-1.1 규격을 따라 가중치와 학습 데이터, 학습 레시피가 함께 공개되었습니다. NeMo 프레임워크를 이용한 LoRA 및 SFT 미세조정을 지원하며, 코딩 에이전트 강화학습에 사용된 데이터셋인 Nemotron-RL Agentic Terminal Pivot도 함께 풀렸습니다. 가중치는 Hugging Face와 ModelScope에서 내려받을 수 있고, build.nvidia.com이나 OpenRouter에서 바로 테스트해볼 수 있습니다.

왜 중요한가

상시 구동형 에이전트 파이프라인을 구축 중이거나, 로컬 PC에서 개발 보조용 도구 호출 작업을 고속으로 처리하고 싶은 개발자라면 즉시 도입을 검토해볼 만합니다. 복잡한 논리 문제를 풀게 하기보다는 터미널 명령을 실행하고 결과를 검증하는 실무 실행용으로 투입할 때 속도와 효율 면에서 가장 큰 강점을 발휘합니다.

엔비디아가 제시한 '두뇌 모델'과 '실행 모델'의 분리 접근법은 매우 영리합니다. Switchyard 라우터를 통해 계획은 상위 폐쇄형 모델에 맡기고 실행은 가벼운 Lightning으로 처리할 경우, 프론티어 모델만 단독으로 쓸 때보다 작업 비용을 거의 3분의 1 수준으로 줄일 수 있습니다. 에이전트 토큰 경제성을 현실화하는 실용적인 대안입니다.