위키미디어 대역폭 50% 폭증…AI 학습용 크롤러가 원인
위키미디어 재단은 위키미디어 커먼즈의 멀티미디어 다운로드 대역폭이 2024년 1월 이후 50% 급증했다고 밝혔다. 원인은 AI 모델 학습을 위한 데이터 스크레이퍼로, 봇 트래픽은 전체 페이지뷰의 35%에 불과하지만 캐시되지 않은 비인기 자료를 대량 수집해 고비용 트래픽의 65%를 차지하고 있다.
위키미디어 재단은 위키미디어 커먼즈의 멀티미디어 다운로드 대역폭이 2024년 1월 이후 50% 급증했다고 밝혔다. 원인은 AI 모델 학습을 위한 데이터 스크레이퍼로, 봇 트래픽은 전체 페이지뷰의 35%에 불과하지만 캐시되지 않은 비인기 자료를 대량 수집해 고비용 트래픽의 65%를 차지하고 있다.