코히어, 10개 언어 위키피디아 임베딩 약 1억 개 무료 공개

위키피디아의 방대한 지식을 바탕으로 시맨틱 검색을 구현하려면 지루하고 고된 사전 작업이 필수적이었습니다. 수백만 개의 문서를 긁어와 문맥 단위로 쪼개고, 모델을 호출해 임베딩을 뽑아내는 과정에서 만만치 않은 시간과 API 비용이 들어갔기 때문입니다.

코히어는 2023년 4월 20일 이 번거로운 과정을 한 번에 해결해 주는 'The Embedding Archives'를 공개했습니다. 위키피디아 문서를 벡터화한 약 1억 개의 다국어 임베딩을 누구나 무료로 내려받을 수 있도록 전면 개방한 것입니다.

10개 언어 위키피디아를 768차원 벡터로 완제 가공

이번 데이터셋은 한국어를 비롯해 영어, 독일어, 프랑스어, 스페인어, 이탈리아어, 일본어, 아랍어, 중국어, 힌디어 등 10개 언어와 쉬운 영어(Simple English)를 아우릅니다.

코히어는 각 문서를 짧은 단락으로 분할하고 제목을 메타데이터로 결합한 뒤, 자사의 multilingual-22-12 다국어 임베딩 모델을 거쳐 768차원 부동소수점 벡터로 변환했습니다.

전체 아카이브는 허깅페이스 데이터셋에 등록되어 있습니다. 개발자는 복잡한 전처리 파이프라인을 구축할 필요 없이 코드 한 줄로 텍스트 본문과 임베딩 벡터, 메타데이터를 즉시 로드할 수 있습니다.

내려받지 않고 위비에이트에서 바로 질의 가능

수십 기가바이트에 달하는 방대한 벡터 데이터를 로컬에 내려받기 부담스러운 환경이라면 온라인 데모 환경을 활용할 수도 있습니다.

벡터 데이터베이스 기업 위비에이트(Weaviate)가 10개 언어별로 100만 개씩 총 1000만 개의 벡터 하위 집합을 공개 호스팅하고 있습니다. 데이터를 전혀 내려받지 않고도 원격 API 호출만으로 곧바로 시맨틱 검색을 테스트해 볼 수 있습니다.

다국어 임베딩 특유의 교차 언어 검색도 지원합니다. 서로 다른 언어라도 의미가 비슷하면 벡터 공간에서 가깝게 배치되므로, 특정 언어로 검색어를 입력해 다른 언어로 작성된 문서를 찾아내거나 언어 필터를 걸어 원하는 결과만 추려내는 작업이 가능합니다.

왜 중요한가

RAG 파이프라인이나 시맨틱 검색 프로토타입을 빠르게 만들어야 하는 엔지니어와 스타트업에게 이번 아카이브는 상당한 시간과 비용을 아껴주는 선물입니다. 데이터 정제와 대규모 임베딩 추출이라는 초기 진입 장벽을 완전히 건너뛸 수 있기 때문입니다.

비즈니스 측면에서도 코히어의 전략은 매우 영리합니다. 정적인 지식 베이스 벡터를 오픈소스로 무료 배포해 개발자들을 생태계로 끌어들이고, 실제 사용자가 질문을 던질 때 필요한 쿼리 벡터 변환 과정에서는 자연스럽게 자사 Embed API를 호출하도록 유도하는 구조입니다.

물론 한계도 명확합니다. 제공된 벡터는 특정 시점에 추출된 정적 스냅샷이므로 실시간으로 바뀌는 최신 정보는 반영하지 못합니다. 그러나 다국어 검색 시스템을 검증하고 프로토타입을 구축하기 위한 표준 데이터셋으로는 더할 나위 없이 훌륭한 출발점입니다.