엔비디아, 절반 크기로 딥시크 R1 잡는 네모트론 울트라 오픈소스 공개

Llama-3.1-Nemotron-Ultra-253B-v1은 엔비디아가 오픈소스로 공개한 2530억 파라미터 대형언어모델(LLM)입니다. 딥시크 R1의 절반에도 못 미치는 크기로 최상위권의 추론, 코딩, 지시 수행 성능을 냅니다.

시스템 프롬프트를 통해 '추론 모드(Reasoning)'를 켜고 끌 수 있어, 일상적인 대화와 복잡한 단계별 문제 해결을 하나의 모델로 유연하게 처리할 수 있습니다.

어떻게 크기를 줄였나

이 모델은 처음부터 새로 학습한 것이 아니라, 메타의 기존 모델인 Llama-3.1-405B-Instruct를 기반으로 뼈대부터 다시 설계했습니다.

엔비디아는 신경망 아키텍처 탐색(NAS)을 활용해 일부 어텐션 레이어를 건너뛰고, 피드포워드 네트워크(FFN)를 통합하며 가변 압축 비율을 적용했습니다. 이 최적화 덕분에 밀집 모델임에도 단일 8대 H100 GPU 노드 1대에서 원활히 구동됩니다.

이후 650억 토큰 분량의 지식 증류와 FineWeb, Dolma 등 데이터를 활용한 880억 토큰의 지속 사전 학습을 진행했습니다.

포스트 트레이닝 단계에서는 코드, 수학, 도구 사용 등 다양한 분야의 지도 미세조정(SFT)을 거친 뒤, GRPO 강화학습을 적용해 추론 모드에서의 문제 해결 능력을 끌어올렸습니다.

벤치마크 성능과 실행 환경

추론 모드를 켜면 점수가 대폭 상승합니다. MATH500 평가에서는 일반 모드 80.40%에서 97.00%로 올랐고, 고난도 AIME25에서는 16.67%에서 72.50%로 급등했습니다. LiveCodeBench 코딩 점수 역시 29.03%에서 66.31%로 두 배 이상 뛰었습니다.

총 파라미터 6710억 규모인 DeepSeek R1과 비교했을 때도 Nemotron Ultra-253B는 다수 항목에서 앞섭니다. GPQA에서 76.01(딥시크 71.5), 지시 준수 IFEval에서 89.45(딥시크 83.3), LiveCodeBench에서 66.31(딥시크 65.9)을 기록했습니다.

다만 고난도 수학 테스트인 AIME25에서는 79.8점을 받은 DeepSeek R1이 72.50점의 네모트론을 앞섭니다.

이 모델은 128k 토큰 컨텍스트를 지원하며, 엔비디아 Hopper 및 B100 환경에서 BF16과 FP8 모드로 검증을 마쳤습니다. 가중치와 코드, 후속 학습 데이터는 허깅페이스에 전부 공개되어 있으며 트랜스포머 4.48.3 이상 버전에서 바로 불러올 수 있습니다.

왜 중요한가

사내 서버나 클라우드에서 최상위권 추론 모델을 직접 돌리려던 개발자들에게 671B짜리 거대 모델의 인프라 구축 비용은 큰 장벽이었습니다. 8대 H100 노드 단 1대로 동급의 추론과 더 나은 코딩 성능을 확보할 수 있다는 점은 실무 환경에서 상당한 비용 절감을 뜻합니다.

우리는 기존 오픈 모델을 아키텍처 재설계와 집중적인 후속 학습만으로 체질을 완전히 바꾼 엔비디아의 접근법이 매우 영리하다고 봅니다. 파라미터 숫자 경쟁 대신 하드웨어 효율을 극대화한 실속형 모델의 기준을 제시했습니다.