구글, 온디바이스용 임베딩 모델 ‘EmbeddingGemma’ 공개: 오프라인 RAG 지원

EmbeddingGemma는 구글이 공개한 온디바이스 전용 오픈 임베딩 모델입니다. 파라미터 수가 3억 800만 개에 불과해, 인터넷 연결이 없는 오프라인 상태에서도 스마트폰이나 PC에서 시맨틱 검색과 RAG(검색 증강 생성)를 직접 돌릴 수 있도록 설계되었습니다. 민감한 개인 문서를 클라우드로 보낼 필요가 전혀 없습니다.

로컬 AI 환경에서 지식 베이스를 구축할 때 가장 중요한 것은 첫 번째 검색 단계입니다. 임베딩 성능이 떨어져 엉뚱한 문서를 찾아오면 뒤에 아무리 좋은 언어 모델을 붙여도 엉뚱한 답변을 내놓게 됩니다. EmbeddingGemma는 사용자의 질문과 로컬 기기에 저장된 문서 간의 의미적 유사도를 정확하게 계산해 줍니다.

Gemma 3를 인코더로 바꾼 설계

EmbeddingGemma는 Gemma 3의 트랜스포머 백본을 기반으로 개발되었습니다.

주목할 점은 생성 모델 특유의 단방향 인과적 어텐션 대신 양방향 어텐션을 적용했다는 점입니다. 이를 통해 모델을 디코더가 아닌 인코더 형태로 전환했습니다. 문맥 전체를 양방향으로 파악할 수 있어, 텍스트 검색과 임베딩 생성에서 일반적인 생성형 소형 모델보다 훨씬 뛰어난 성능을 발휘합니다.

전체 3억 800만 파라미터는 약 1억 개의 코어 모델 파라미터와 2억 개의 임베딩 파라미터로 나뉩니다. 토큰 임베딩은 평균 풀링과 밀집 레이어를 거쳐 최종 768차원 벡터로 변환됩니다.

마트료시카 표현 학습(MRL) 기법도 지원합니다. 메모리나 저장 공간을 아끼고 검색 속도를 끌어올리고 싶다면, 768차원 출력을 필요에 따라 512, 256, 128차원으로 잘라서 사용할 수 있습니다. 차원을 대폭 줄여도 정확도 손실은 매우 적습니다.

또한 구글의 소형 언어 모델인 Gemma 3n과 토크나이저를 공유합니다. 기기 안에서 임베딩과 생성 모델을 함께 돌리는 온디바이스 RAG 파이프라인을 구축할 때 토크나이저를 중복으로 메모리에 올리지 않아도 됩니다.

하드웨어 요구 사양과 성능

하드웨어 진입 장벽은 매우 낮습니다. 양자화를 거치면 RAM 사용량을 200MB 미만으로 낮출 수 있어 일상적인 스마트폰이나 보급형 노트북에서도 가볍게 구동됩니다.

컨텍스트 윈도는 2048 토큰입니다. 클라우드 모델에 비하면 작아 보이지만, 검색용 텍스트 조각을 처리하기에는 넉넉한 크기이며 긴 입력으로 인해 임베딩 정보가 희석되는 현상도 줄여줍니다.

학습에는 100개 이상의 언어를 아우르는 약 3200억 토큰 규모의 다국어 코퍼스가 사용되었습니다. 텍스트 임베딩 벤치마크인 MTEB 및 MMTEB에서 5억 파라미터 미만 텍스트 임베딩 모델 중 최고 수준의 성능을 기록했습니다. 의료 데이터셋을 활용한 미세조정 테스트에서는 파라미터가 2배 더 큰 모델보다 뛰어난 검색 정확도를 보여주기도 했습니다.

현재 허깅페이스에 가중치가 공개되었으며, Sentence Transformers, LangChain, LlamaIndex, Transformers.js, ONNX 등 주요 개발 도구에서 바로 사용할 수 있습니다. 구글은 이 기술을 안드로이드 시스템 기능에도 접목할 계획입니다.

왜 중요한가

오프라인에서 작동하는 개인 메모 검색 앱이나 프라이버시가 중요한 온디바이스 에이전트를 개발하고 있다면 EmbeddingGemma는 매우 유용한 도구입니다. 200MB 미만의 메모리만으로 수준 높은 다국어 벡터 검색을 로컬 환경에 구현할 수 있기 때문입니다.

그동안 온디바이스 RAG는 기기 리소스 부족과 임베딩 모델의 낮은 성능 때문에 타협해야 하는 부분이 많았습니다. 구글이 Gemma 3n과 짝을 이루는 초경량 임베딩 모델을 오픈소스로 내놓으면서, 모바일 환경에서도 실용적인 온디바이스 AI 구축이 훨씬 수월해졌다고 판단합니다.