엔비디아, 고성능 에이전트 AI 모델 '네모트론 3.5' 공개

엔비디아의 '네모트론 3.5'는 자율형 AI 에이전트 구축에 최적화된 오픈 모델 제품군입니다. 120B 규모의 멀티모달 플래그십 모델인 'Super VL'과 소비자용 하드웨어에서 동작하는 온디바이스 모델 'Bolt 74B-A9B'가 핵심입니다. 복잡한 벤치마크 점수 경쟁 대신, 실제 비즈니스 파이프라인에서 필요한 처리 속도와 운영 효율을 극대화하는 데 초점을 맞췄습니다.

어떤 기능이고 어떻게 작동하나

Super VL은 이미지, 문서, 웹페이지, 비디오 이해 능력과 도구 호출 기능을 단일 모델로 통합했습니다. 기존 에이전트 시스템처럼 OCR 모델과 텍스트 LLM을 따로 연결해 데이터를 주고받을 필요가 없어, 문서 맥락을 유지한 채 분석부터 실행까지 끊김 없이 처리합니다.

동급 오픈 모델 대비 최대 5배 빠른 처리량을 달성한 비결은 120B 규모의 MoE(혼합 전문가) 구조에 있습니다. 토큰당 실제로 활성화되는 파라미터는 12B에 불과해 가볍고 빠르게 동작합니다. 약 26조 개의 토큰으로 사전 학습을 거쳤으며, 380만 개의 데이터셋과 NeMo Gym 환경을 통한 강화학습으로 파인튜닝되었습니다.

로컬 환경을 겨냥한 Bolt 74B-A9B는 네이티브 2비트 양자화를 적용해 모델 크기를 24GB 메모리 수준으로 줄였습니다. 웹 검색, 문서 분석, 코드 디버깅 같은 에이전트 작업을 외부 클라우드 전송 없이 개인 장비에서 바로 실행할 수 있습니다. 로컬 에이전트 벤치마크인 PinchBench에서 동급 1위, BrowseComp에서 2위를 기록했습니다.

하드웨어 사양과 실행 성능

Super VL을 로컬 인프라에서 가동하려면 높은 사양이 필요합니다. 활성 파라미터는 12B 수준이지만 전체 모델 가중치 용량이 약 75GB에 달해 DGX 시스템이나 RTX PRO 워크스테이션, 엔터프라이즈 GPU 클러스터가 권장됩니다. 외부 실측 테스트에서는 초당 600토큰이 넘는 빠른 생성 속도를 기록했습니다.

반면 Bolt 74B-A9B는 24GB VRAM을 갖춘 일반 지포스 RTX 그래픽카드 한 장으로도 구동할 수 있습니다. llama.cpp, Ollama, LM Studio, Unsloth, vLLM 등 로컬 런타임을 폭넓게 지원합니다. 4GB 메모리에 맞춰 설계된 경량 모델 Bolt E4B는 10월 23일 추가 공개될 예정입니다.

두 모델의 가중치와 학습 레시피, 40개 비전-언어 데이터셋은 허깅페이스와 모델스코프에 오픈소스로 공개되었으며, 엔터프라이즈 배포를 위한 NVIDIA NIM 마이크로서비스로도 제공됩니다.

왜 중요한가

데이터 보안이 중요한 개발자나 독립 팀에게 Bolt 74B-A9B는 당장 도입해 볼 만한 도구입니다. 그동안 24GB VRAM 환경에서는 복잡한 다단계 에이전트를 안정적으로 구동하기 어려웠으나, 2비트 양자화를 통해 개인 데스크톱에서도 상시 가동할 수 있는 자동화 파이프라인의 기준선을 만들어냈습니다.

다만 순수 추론 능력에는 명확한 한계가 있습니다. 외부 벤치마크 평가에 따르면 심층 추론 영역에서는 Qwen 3.8-27B나 MiniMax 같은 모델에 비해 다소 낮은 성능을 보입니다. 고난도 수학이나 복잡한 논리 전개가 목적이라면 적합하지 않지만, 방대한 양의 영수증과 문서를 처리하고 반복적인 워크플로를 빠르게 자동화하는 용도로는 매우 경제적이고 실용적인 대안입니다.