구글, 텍스트·영상·음성 묶는 제미나이 임베딩 2 출시

지금까지 멀티모달 검색이나 RAG 시스템을 구축하려면 여러 도구를 억지로 꿰어 맞추는 작업이 필수적이었습니다. 이미지는 별도 비전 모델을 거치고, 음성은 텍스트로 먼저 변환한 뒤, 동영상은 프레임과 오디오로 쪼개어 서로 다른 벡터 공간을 맞춰야 했습니다.

구글이 공개 프리뷰로 선보인 Gemini Embedding 2는 이 복잡한 파이프라인을 단일 시스템으로 정리하려는 모델입니다. 제미나이 아키텍처를 기반으로 구축된 구글 최초의 네이티브 멀티모달 임베딩 모델로, 현재 Gemini API와 Vertex AI에서 쓸 수 있습니다.

텍스트와 이미지, 동영상, 오디오, 문서를 100개 이상의 언어에 걸쳐 단 하나의 통일된 벡터 공간으로 직접 매핑합니다.

텍스트 변환 없는 오디오 처리와 혼합 입력

이번 모델의 핵심은 중간 변환 과정을 거치는 눈속임이 아니라, 원시 데이터 그대로를 이해하는 네이티브 구조라는 점입니다.

텍스트 입력은 최대 8192 토큰까지 지원합니다. 하지만 개발자들의 눈길을 끄는 부분은 텍스트 이외의 미디어 처리 규격입니다.

단일 요청에서 PNG나 JPEG 이미지를 최대 6장까지 처리할 수 있고, MP4 및 MOV 포맷의 동영상은 최대 120초까지 입력할 수 있습니다. PDF 문서 역시 최대 6페이지까지 직접 벡터화가 가능합니다.

가장 편리해진 영역은 오디오입니다. 기존에는 음성 데이터를 검색에 활용하려면 위스퍼 같은 모델로 텍스트 전사를 먼저 거쳐야 했습니다. Gemini Embedding 2는 텍스트 변환 단계를 완전히 건너뛰고 오디오 데이터를 원시 상태 그대로 임베딩합니다.

이미지와 텍스트를 함께 넣는 인터리브 입력도 지원합니다. 하나의 요청 안에 이미지와 텍스트 설명을 섞어 넣으면 두 미디어 사이의 문맥적 관계를 모델이 한 번에 파악합니다.

벡터 데이터베이스 용량 부담을 줄이기 위해 마트료시카 표현 학습 기술도 적용되었습니다. 기본 차원은 3072차원이지만, 성능과 비용 균형에 맞춰 1536차원이나 768차원으로 축소해 사용할 수 있습니다. LangChain, LlamaIndex, Weaviate, Qdrant 등 주요 프레임워크와의 연동도 지원됩니다.

왜 중요한가

우리가 보기에 Gemini Embedding 2는 멀티모달 엔지니어링에서 가장 까다로웠던 전처리 병목을 정조준한 영리한 제품입니다.

개발자 관점에서 가장 큰 이점은 파이프라인의 극적인 단순화입니다. 고객 센터 음성 녹음이나 영상 아카이브, 이미지 중심 매뉴얼을 검색해야 할 때 여러 개의 전처리 파이프라인을 따로 굴릴 필요 없이 단 하나의 엔드포인트로 해결할 수 있습니다.

업계 전반으로 보면 멀티모달 RAG의 진입 기준을 한 단계 끌어올린 격입니다. 그동안의 벡터 검색은 텍스트 중심에 이미지를 덧붙이는 수준에 머무는 경우가 많았습니다. 구글이 기초 모델의 네이티브 멀티모달 능력을 임베딩 단계까지 온전히 끌어내림에 따라 경쟁사들도 유사한 통합 임베딩 모델을 서둘러 내놓아야 하는 압박을 받게 되었습니다.

물론 한계도 분명합니다. 동영상 120초와 PDF 6페이지라는 제한은 수십 분짜리 회의 녹화본이나 방대한 보고서를 한 번에 넣기에는 턱없이 부족합니다. 결국 장문 데이터는 여전히 개발자가 청킹과 분할 작업을 직접 설계해야 합니다.

그럼에도 불구하고 다양한 형태의 미디어가 섞인 검색 시스템을 구축 중이라면 지금 바로 테스트해 볼 가치가 충분합니다. 음성 전사 단계를 생략해 운영 비용과 지연 시간을 줄일 수 있다는 점 하나만으로도 실무적 매력이 큽니다.