엔비디아, 고성능 임베딩 모델 '네모트론 3 임베드' 오픈소스로 공개

엔비디아의 '네모트론 3 임베드'는 실제 운영 환경의 RAG와 에이전트 검색에 맞춰 설계된 오픈소스 상용 임베딩 모델 제품군이다. RTEB 다국어 벤치마크 1위를 기록한 8B 플래그십 모델과 비용 및 지연 시간에 민감한 환경을 위한 1.14B 모델 2종 등 총 3가지 모델로 구성된다.

에이전트 워크플로에서 검색 품질이 떨어지면 관련 없는 문맥이 유입되고, 에이전트가 재검색과 불필요한 추론을 반복하면서 토큰 예산이 빠르게 소진된다. 네모트론 3 임베드는 바로 이 에이전트 검색의 비효율을 직접 해결하기 위해 개발되었다.

무엇을 할 수 있는가

세 모델 모두 32k 컨텍스트 창을 지원한다. 장문 문서, 대규모 다중 파일 코드베이스, 장기 에이전트 대화 기록을 중간에 잘라내지 않고 온전히 임베딩할 수 있다.

입력 시에는 Mean 풀링 방식을 사용하며, 텍스트 앞에 query: 또는 document: 접두사만 붙여 호출하면 된다. 글로벌 기업 데이터를 위한 다국어 검색과 기술 코드 검색 모두를 정밀하게 지원한다.

성능 측면에서 Nemotron-3-Embed-8B-BF16은 RTEB에서 78.5%, MMTEB Retrieval에서 75.5%를 기록하며 전체 1위를 차지했다. 소형 모델인 1.14B BF16 역시 RTEB에서 72.4%를 기록하며 이전 세대 1B 모델 대비 오류율을 27% 낮췄다.

검색 에이전트를 통한 실제 평가 결과, 초기에 정확한 맥락을 전달함으로써 에이전트의 반복 검색과 불필요한 추론 단계를 줄여 다운스트림 토큰 비용을 크게 절감할 수 있는 것으로 나타났다.

어떻게 개발되었나

작은 모델을 밑바닥부터 새로 학습시키는 대신 검증된 기반 모델을 재구성하고 압축하는 방식을 택했다.

8B 플래그십 모델은 Ministral-3-8B-Instruct-2512의 인과적 디코더를 양방향 인코더로 변환해 구축했다. 이후 대조 학습과 법률, 금융, 의료 등 전문 영역 데이터를 활용한 파인튜닝을 거쳤다.

1.14B 모델은 구조적 프루닝과 증류 파이프라인을 통해 완성되었다. Ministral-3-3B 기반 모델에서 출발해 엔비디아 ModelOpt의 신경망 구조 탐색(NAS)으로 2B 크기로 압축한 뒤, 8B 교사 모델로부터 순위 정확도를 증류해 복원했다.

이 프루닝과 증류 과정을 한 번 더 반복해 최종 1.14B 크기를 도출했으며, 점진적 2단계 학습 일정을 통해 컨텍스트 길이를 확장하여 장문 입력에 대한 판별력을 확보했다.

엔비디아 블랙웰 아키텍처를 위한 1B-NVFP4 버전도 함께 공개되었다. 선형 레이어 가중치와 활성화를 4비트로 양자화하는 QAD 기술을 적용해 BF16 대비 최대 2배의 처리량을 발휘하면서도 99% 이상의 검색 정확도를 유지한다.

실행 및 배포 방법

모델 가중치, 데이터셋, NeMo 미세 조정 레시피는 허깅페이스에 상용 가능한 조건으로 공개되어 있다.

추론 배포는 vLLM을 통해 즉시 구동 가능하며, 러스트 기반으로 최적화된 엔비디아 NIM 마이크로서비스로도 제공된다. 도메인 특화 데이터로 자체 미세 조정을 진행하려는 팀은 NeMo AutoModel 레시피를 활용할 수 있다.

정밀도가 최우선인 기업 환경이라면 일반 GPU에서 8B-BF16을 구동하는 것이 적합하다. 1.14B-BF16은 저지연 CPU나 보급형 GPU 환경에서도 원활하게 실행된다. 블랙웰 또는 GB200 인프라를 보유한 조직이라면 NVFP4 버전을 통해 메모리 점유율을 줄이고 처리량을 극대화할 수 있다.

왜 중요한가

프로덕션 RAG나 에이전트 메모리 시스템을 운영 중인 개발팀이라면 즉시 테스트해 볼 가치가 충분하다. 복합 에이전트 환경에서는 비싼 생성 모델을 바꾸는 것보다 임베딩 단에서 노이즈를 걸러내는 것이 토큰 비용을 절감하는 훨씬 확실한 지름길이기 때문이다.

엔비디아의 제품 전략 역시 영리하다. 8B 모델로 벤치마크 1위를 차지해 품질 신뢰도를 확보하는 동시에, 대규모 트래픽 처리를 위한 1B 모델과 블랙웰 전용 NVFP4 옵션을 제시했다. 블랙웰 하드웨어가 없더라도 표준 1.14B BF16 모델만으로 일반 서버 환경에서 실질적인 효율 개선을 기대할 수 있다.