위키미디어, 무단 스크래핑 줄이려 캐글에 AI용 위키백과 데이터 공개

AI 기업들의 데이터 수집 경쟁이 치열해지면서 위키피디아는 무차별적인 웹 스크래핑의 표적이 되어 왔습니다. 이로 인해 위키피디아의 웹 서버는 일반 사용자 트래픽을 훌쩍 넘어서는 막대한 부하와 비용 부담에 시달려야 했습니다.

이에 위키피디아를 운영하는 위키미디어 재단이 스크래핑 봇을 막아서는 대신 먼저 데이터를 정제해 건네주는 방식을 택했습니다.

위키미디어 재단은 구글 산하의 데이터 과학 및 머신러닝 플랫폼 캐글에 AI 개발자를 위한 위키피디아 데이터셋을 공식 공개했습니다. AI 기업과 대형 언어 모델 개발진이 웹사이트를 직접 긁어가는 행위를 억제하기 위한 조치입니다.

정제된 JSON 형태로 즉시 학습 투입 가능

4월 15일부터 배포된 이 데이터셋은 복잡한 웹페이지 텍스트 대신 잘 구조화된 JSON 형태로 제공됩니다. 머신러닝 파이프라인에 그대로 투입할 수 있도록 설계된 것이 특징입니다.

데이터셋에는 문서 요약과 간단한 설명, 인포박스의 키-값 데이터, 이미지 링크, 문단별로 나뉜 본문 섹션 등이 포함되어 있습니다. 모델 훈련의 효율을 높이기 위해 참고 문헌이나 이미지, 도표와 같은 비텍스트 요소는 사전에 제외되었습니다.

콘텐츠 라이선스는 위키피디아의 기본 정책을 따라 크리에이티브 커먼즈(CC) 및 GNU 자유 문서 사용 허가서(GFDL)가 적용되므로 개발자가 자유롭게 공유하고 수정하여 재가공할 수 있습니다.

캐글의 파트너십 책임자 브렌다 플린은 캐글이 이미 46만 1000개 이상의 공개 데이터셋을 보유한 플랫폼이지만, 위키미디어 재단만큼 파급력이 큰 오픈 데이터셋은 드물다고 밝혔습니다.

현재 공개된 데이터셋은 초기 베타 버전으로 영어와 프랑스어 두 가지 언어로 제공되며, 커뮤니티의 피드백을 수렴해 지속적으로 보완해 나갈 계획입니다.

왜 중요한가

AI 개발자와 연구자 입장에서 웹 스크래핑과 데이터 전처리는 시간과 비용이 가장 많이 들어가는 작업입니다. 위키미디어가 공식적으로 정제한 구조화 데이터를 활용하면 전처리 스크립트를 짜지 않고도 자연어 처리 파이프라인 구축과 미세 조정에 바로 착수할 수 있습니다. 비록 지금은 영어와 프랑스어에 한정된 베타 상태지만, 해당 언어 모델을 연구 중이라면 즉시 도입할 가치가 충분합니다.

업계 차원에서는 AI 스크래핑 공세에 맞선 개방형 플랫폼의 매우 현명한 방어책으로 평가할 수 있습니다. 많은 웹사이트와 언론사가 소송을 제기하거나 사이트 접근을 원천 차단하는 것과 달리, 위키미디어는 수요를 외부 플랫폼인 캐글로 분산시켜 자체 서버를 보호하는 우회로를 열었습니다.

우리는 지식의 자유로운 공유라는 본래의 설립 취지를 훼손하지 않으면서도 인프라 비용을 줄이는 영리한 타협점을 찾았다고 봅니다. 다만 실시간 최신 정보나 비주류 언어 데이터를 필요로 하는 개발자들이 위키피디아 웹사이트 스크래핑을 완전히 중단할지는 지켜볼 필요가 있습니다.