엔비디아, NeMo 마이크로서비스 정식 출시: 기업용 AI 에이전트 구축 가속

쓸 만한 AI 에이전트를 하나 만드는 건 어렵지 않지만, 현장에 투입하고 한 달 뒤에도 똑똑함을 유지하게 만드는 일은 완전히 다른 문제입니다.

지속적인 고품질 데이터 공급이 없으면 에이전트의 성능은 빠르게 떨어집니다. NVIDIA는 4월 23일, 기업들이 '데이터 플라이휠'을 구축해 AI 에이전트를 진정한 디지털 동료로 지속 학습시킬 수 있도록 돕는 'NeMo 마이크로서비스'를 정식 출시(GA)했습니다.

이 서비스는 NVIDIA AI Enterprise 플랫폼을 통해 온프레미스와 클라우드 어디서든 구동되며, 개발자는 NVIDIA NGC 카탈로그에서 바로 다운로드해 쓸 수 있습니다.

미세조정부터 평가와 가드레일까지 모듈화

이번에 제공되는 NeMo 마이크로서비스는 모델 맞춤화, 성능 평가, 안전 가드레일 등을 포괄합니다.

먼저 NeMo Customizer는 지도 미세조정(SFT)과 LoRA 기술을 지원해 LLM 미세조정 훈련 처리량을 최대 1.8배 끌어올립니다. NeMo Evaluator는 단 5번의 API 호출만으로 자체 벤치마크나 산업 표준 기준에 맞춰 모델과 워크플로를 평가할 수 있게 해줍니다.

보안과 규정 준수를 위한 NeMo Guardrails는 단 0.5초의 추가 지연 시간만으로 컴플라이언스 보호 기능을 최대 1.4배 개선합니다. 여기에 기존 NeMo Retriever와 Curator가 결합되어, 추론 데이터, 비즈니스 데이터, 사용자 피드백을 수집해 모델을 끊임없이 개선하는 플라이휠 구조를 만듭니다.

지원 모델 폭도 넓습니다. Llama, Microsoft Phi, Google Gemma, Mistral, 그리고 NVIDIA의 Llama Nemotron Ultra를 지원합니다. Meta는 자사의 Llamastack에 커넥터를 연결해 개발자들이 API를 통해 NeMo 기능을 바로 활용할 수 있도록 했습니다.

대기업들이 먼저 확인한 성능 지표

NVIDIA는 정식 출시와 함께 실제 기업들의 도입 수치를 공개했습니다.

AT&T는 매주 갱신되는 약 1만 건의 문서를 처리하는 사내 에이전트에 NeMo를 도입했습니다. Customizer와 Evaluator로 Mistral 7B 모델을 미세조정한 결과 정확도를 최대 40% 끌어올렸습니다.

시스코의 Outshift 팀은 코딩 어시스턴트에 이를 적용해 도구 선택 오류를 40% 줄이고 응답 속도를 최대 10배 단축했습니다. 나스닥 역시 자사 Gen AI 플랫폼에 NeMo Retriever를 도입해 검색 정확도와 응답 시간을 최대 30% 개선했습니다. 블랙록도 자사 핵심 금융 플랫폼인 알라딘(Aladdin)에 NeMo를 도입 중입니다.

왜 중요한가

엔터프라이즈 개발자 입장에서 에이전트 시스템 구축의 가장 큰 골칫거리는 초기 데모가 아니라 운영과 모델 정렬입니다. NeMo 마이크로서비스는 파편화되어 있던 미세조정, 평가, 안전성 검증을 모듈형 API로 말끔하게 묶어냈습니다. 금융이나 통신처럼 규제와 보안이 중요한 환경에서 에이전트를 도입하려는 조직이라면 당장 검토해 볼 만한 도구입니다.

업계 전체로 보면 NVIDIA가 하드웨어 독점을 넘어 엔터프라이즈 소프트웨어 생태계까지 확실하게 장악하려는 움직임입니다. LangChain, LlamaIndex 같은 프레임워크는 물론 글로벌 스토리지 파트너와 대형 컨설팅 기업들까지 연계하면서, 기업들이 결국 자사 소프트웨어 스택과 GPU 인프라를 벗어나지 못하도록 락인(Lock-in)하고 있습니다.

직접 완제품 애플리케이션을 만들지 않고 모든 기업이 필요로 하는 데이터 순환 인프라 표준을 쥐려는 전략은 매우 영리해 보입니다. 다만 이 플라이휠이 제대로 돌려면 기업 자체의 데이터 정제 능력이 뒷받침되어야 하며, NVIDIA AI Enterprise 라이선스 비용 역시 만만치 않은 진입 장벽이 될 수 있습니다.