위키미디어, AI 친화형 벡터 DB 공개: 위키데이터 3천만 개 항목 벡터화

위키피디아의 방대한 지식 베이스를 관리하는 위키데이터(Wikidata)가 AI 개발자들을 위해 데이터를 통째로 개편했습니다.

위키데이터를 총괄하는 독일 위키미디어(Wikimedia Deutschland) 팀은 지난 1년 동안 대규모 언어 모델을 사용해 3000만 개에 달하는 위키데이터 항목을 시맨틱 벡터로 변환하는 'Wikidata Embedding Project'를 진행했습니다.

3000만 개 데이터를 벡터로 탈바꿈

기존 위키데이터는 JSON 같은 기계 판독용 포맷으로 저장되어 있었지만, AI 모델이 문맥과 관계를 즉각 이해하기에는 구조가 다소 까다로웠습니다.

베를린 팀은 AI 스타트업 Jina AI의 모델을 활용해 2024년 9월 18일 기준의 데이터 3000만 건을 벡터화했습니다. 위키데이터 총괄 Lydia Pintscher는 소설가 더글러스 애덤스를 검색하면 '인간'이라는 속성과 집필한 책들의 제목이 점과 선으로 연결된 그래프처럼 의미망을 형성한다고 설명했습니다.

인프라 측면에서는 IBM 계열사인 DataStax가 벡터 데이터베이스 저장을 위한 인프라를 무료로 지원하고 있습니다. 프론트엔드 환경은 그대로 유지되므로 위키피디아가 챗봇으로 변하는 것은 아니며, 개발자들이 자체 AI 시스템을 구축할 때 백엔드에서 이 벡터 데이터를 손쉽게 호출할 수 있습니다.

빅테크와의 격차 줄이고 비주류 데이터 살린다

이번 프로젝트의 핵심 목표는 빅테크 외부에 있는 소규모 개발자들에게 힘을 실어주는 것입니다.

OpenAI나 Anthropic 같은 자본력을 갖춘 대기업은 자체적으로 위키데이터를 벡터화할 능력이 충분합니다. 하지만 일반 개발자나 스타트업은 엄두를 내기 어렵습니다. Pintscher는 이들에게 최소한의 경쟁 기회를 열어주고 싶었다고 강조했습니다.

또 다른 목적은 인터넷에서 소외되기 쉬운 틈새 정보를 살리는 것입니다. 대부분의 상용 챗봇은 웹상에서 인기 있는 주제를 우선시하지만, 자원봉사자들이 정교하게 검증해 둔 위키데이터의 심층 정보를 손쉽게 주입하면 비주류 분야에서도 훨씬 정확한 답변을 끌어낼 수 있습니다.

왜 중요한가

우리는 위키미디어가 오픈소스 생태계에서 아주 영리한 방어 전략을 취했다고 봅니다.

빅테크 기업들이 오픈 데이터를 무차별적으로 긁어가 폐쇄적인 상용 서비스로 돈을 버는 상황에서, 위키미디어는 불평하는 대신 AI가 가장 다루기 쉬운 '벡터 데이터'를 직접 배포하는 길을 택했습니다. 데이터의 패권을 다시 오픈소스 커뮤니티로 가져오려는 시도입니다.

자체 RAG 시스템이나 지식 기반 챗봇을 만드는 개발자들에게는 엄청난 혜택입니다. 3000만 건에 달하는 고품질 지식을 직접 임베딩하는 데 들어가는 막대한 컴퓨팅 비용과 전처리 수고를 한 번에 덜 수 있기 때문입니다.

다만 한계도 뚜렷합니다. 현재 공개된 데이터는 2024년 9월 시점에 머물러 있습니다. 프로젝트 매니저 Philippe Saadé는 기존 데이터의 사소한 수정이 벡터의 전체 의미를 해치지 않는다고 설명했지만, 실시간성이나 최신 이슈가 중요한 분야에서는 업데이트 주기 문제가 걸림돌이 될 수 있습니다.