엔비디아, Nemotron-Nano-9B-v2 오픈 모델 공개: 추론 모드 On/Off 토글 지원

Nemotron-Nano-9B-v2는 뛰어난 추론 역량과 가벼운 배포 환경을 동시에 갖춘 엔비디아의 오픈소스 소형 언어 모델입니다. AI가 답변을 내놓기 전 내부적으로 점검하는 추론 과정을 개발자가 자유롭게 켜고 끌 수 있다는 점이 핵심입니다.

명령어 하나로 추론 모드 전환, 최대 6배 빨라진 속도

기존 추론형 모델들은 무조건 긴 생각 과정을 거치거나, 아예 추론 능력이 없는 양극단의 형태가 많았습니다. Nemotron-Nano-9B-v2는 기본적으로 생각 과정을 거쳐 답을 내놓지만, 프롬프트에 /think 또는 /no_think 토큰을 넣는 것만으로 이 과정을 손쉽게 제어할 수 있습니다.

여기에 런타임 생각 예산 관리 기능도 추가되었습니다. 내부 추론에 사용할 토큰 수의 상한선을 개발자가 직접 설정할 수 있어, 응답 속도가 중요한 고객 지원 챗봇이나 자율 에이전트 환경에서 정확도와 지연 시간의 균형을 완벽하게 맞출 수 있습니다.

아키텍처 측면에서는 엔비디아의 Nemotron-H 패밀리를 바탕으로 맘바(Mamba) 상태 공간 모델과 트랜스포머를 결합한 하이브리드 구조를 채택했습니다. 어텐션 레이어 대부분을 선형 시간 복잡도의 상태 공간 레이어로 대체해 긴 문맥 처리 처리량을 2~3배 높였으며, 비슷한 크기의 순수 트랜스포머 대비 최대 6배 빠른 추론 속도와 더 큰 배치 처리를 지원합니다.

A10 단일 GPU 최적화와 Qwen3-8B를 넘는 벤치마크

엔비디아는 이 모델을 120억 파라미터에서 90억 파라미터로 의도적으로 가지치기했습니다. 기업 인프라에서 가장 흔하게 쓰이는 단일 Nvidia A10 GPU에 꼭 맞게 올리기 위한 선택입니다.

크기를 줄였음에도 성능은 매우 강력합니다. NeMo-Skills 추론 평가에서 MATH500 97.8%, AIME25 72.1%, GPQA 64.0%, LiveCodeBench 71.1%를 기록했습니다. 지시 이행 평가인 IFEval에서는 90.3%, 128K 문맥을 다루는 RULER 테스트에서는 78.9%를 달성하며 동급 경쟁 모델인 Qwen3-8B를 고르게 앞섰습니다.

영어, 독일어, 스페인어, 프랑스어, 이탈리아어, 일본어뿐만 아니라 한국어, 중국어, 포르투갈어, 러시아어까지 폭넓게 지원합니다. 현재 가중치와 사전 학습 데이터셋 모두 허깅페이스와 엔비디아 모델 카탈로그에 공개되어 있으며, 2025년 6월 갱신된 엔비디아 오픈 모델 라이선스에 따라 상업적 활용이 가능합니다.

왜 중요한가

비용 문제로 70B급 거대 모델을 쓰기 부담스러웠거나 엔트리급 데이터센터 GPU에서 경량 에이전트를 돌려야 하는 엔지니어라면 당장 테스트해 볼 가치가 충분합니다. 추론 깊이를 고정된 비용이 아닌 조절 가능한 다이얼 형태로 풀어낸 점이 실무 배포에서 큰 강점입니다.

또한 맘바와 트랜스포머 하이브리드 설계가 실제 운영 단계에서 얼마나 유효한지 증명했습니다. 무작정 매개변수를 늘리기보다 현장 하드웨어 규격에 딱 맞춰 효율을 끌어올리는 현실적인 오픈소스 모델의 모범 사례입니다.