구글, MTEB 1위 기록한 신규 Gemini 텍스트 임베딩 모델 공개

RAG(검색 증강 생성)나 사내 지식 기반 시스템을 만들어 본 개발자라면 생성 모델의 두뇌 못지않게 관련 문서를 정확히 찾아내는 임베딩 모델의 성능이 중요하다는 사실을 잘 압니다.

Google이 자사 Gemini API를 통해 새로운 실험용 텍스트 임베딩 모델인 gemini-embedding-exp-03-07을 공개했습니다. Vertex AI에서는 text-embedding-large-exp-03-07이라는 이름으로 서비스되며, 향후 정식 출시(GA) 시점에 엔드포인트 이름이 통합될 예정입니다.

MTEB 다국어 벤치마크 1위 달성

이번 임베딩 모델은 Gemini 모델 자체를 기반으로 학습되었습니다. Gemini의 언어 이해력과 세밀한 문맥 파악 역량을 이어받아, 기존 SOTA 모델이었던 text-embedding-004를 넘어섰습니다.

텍스트 임베딩 성능을 종합 평가하는 MTEB(Massive Text Embedding Benchmark) 다국어 순위표에서 평균 작업 점수 68.32점을 기록하며 1위에 올랐습니다. 2위 경쟁 모델과의 격차는 무려 5.81점에 달합니다.

금융, 과학, 법률, 검색 등 다양한 전문 분야에서 별도의 세부 미세조정(Fine-tuning) 없이 즉시 뛰어난 성능을 내도록 설계되었습니다. 또한 더 긴 입력 토큰 길이를 지원해 긴 문서를 다루기 수월해졌습니다.

기존 embed_content 엔드포인트를 그대로 사용해 호출할 수 있지만, 현재는 용량이 제한된 실험 단계입니다. Google은 수개월 내 정식 버전 출시를 목표로 개발자 피드백을 수집하고 있습니다.

왜 중요한가

우리는 Google이 프론티어 LLM의 문맥 이해력을 임베딩 전용 모델로 확장한 전략이 매우 실용적이라고 평가합니다.

개발자 입장에서 다국어 벤치마크 2위와 5점 이상의 격차를 보인 모델의 등장은 큰 호재입니다. 법률이나 금융 등 까다로운 전문 용어가 얽힌 문서를 다룰 때, 별도의 데이터 튜닝 없이도 검색 정확도를 대폭 끌어올릴 수 있기 때문입니다. 현재 보유한 테스트 데이터셋을 바탕으로 검색 재현율을 검증해 볼 가치는 충분합니다.

다만 프로덕션 환경 도입에는 주의가 필요합니다. 아직 용량 제한이 걸린 실험적 모델이므로, 실서비스의 핵심 파이프라인을 당장 교체하기보다는 향후 몇 달 뒤 나올 정식 버전을 대비한 벤치마크 용도로 활용하는 편이 안전합니다.

업계 전반으로 보면 OpenAI 등 경쟁사들의 임베딩 라인업 갱신을 강력하게 압박하는 계기가 될 것으로 보이며, 검색과 RAG 생태계의 기준선을 한 단계 끌어올릴 것으로 보입니다.