위키미디어 대역폭 50% 폭증…AI 학습용 크롤러가 원인

위키피디아 서버는 본래 전 세계적인 대형 사건이 터졌을 때 몰려드는 인간의 트래픽을 견디도록 설계되었습니다. 하지만 지금 위키의 대역폭을 바닥내고 있는 것은 지식을 찾는 사람이 아니라, AI 학습용 데이터를 긁어모으는 크롤러 봇입니다.

위키미디어 재단은 2024년 1월 이후 개방형 멀티미디어 보관소인 위키미디어 커먼즈의 다운로드 대역폭 소비량이 무려 50%나 급증했다고 밝혔습니다. 늘어난 트래픽의 주범은 인간이 아닌 AI 스크래퍼였습니다.

트래픽의 35%가 비용의 65%를 차지하는 이유

위키미디어가 공개한 데이터에서 가장 눈에 띄는 대목은 봇이 유발하는 실제 비용 구조입니다.

전체 페이지뷰 중 봇이 차지하는 비중은 약 35%에 불과합니다. 하지만 가장 많은 자원을 소모하는 '가장 비싼 트래픽'으로 좁혀보면, 봇의 비중이 65%에 달합니다.

이러한 차이가 발생하는 이유는 인간과 봇의 접근 방식이 완전히 다르기 때문입니다. 사람은 주로 인기 문서에 몰리기 때문에 데이터가 사용자와 가까운 캐시 서버에서 즉시 처리됩니다.

반면 AI 봇은 대량 학습을 위해 사람이 잘 찾지 않는 비인기 페이지와 미디어 파일까지 닥치는 대로 긁어모읍니다.

캐시에 없는 파일을 긁어가면 요청이 메인 데이터센터 깊숙한 곳까지 들어가 서버에 직접적인 부하를 줍니다. 이로 인해 위키미디어 재단의 클라우드 비용이 치솟았고, 일반 사용자의 불편을 막기 위해 엔지니어들이 봇 차단에 매달려야 하는 상황입니다.

무너지는 규칙과 반격에 나선 개발자들

이 같은 무차별 크롤링은 개방형 웹 생태계 전반을 위협하고 있습니다.

오픈소스 옹호자인 드루 드볼트(Drew DeVault)는 지난달 많은 AI 크롤러들이 접근을 제한하는 robots.txt 파일을 대놓고 무시하고 있다고 비판했습니다. 유명 기술 블로거 게르게이 오로스(Gergely Orosz) 역시 메타 등 빅테크의 크롤러가 개인 프로젝트의 대역폭을 집어삼켰다며 분통을 터뜨렸습니다.

클라우드플레어가 AI 생성 콘텐츠로 봇을 가두는 'AI Labyrinth'를 선보이는 등 방어 기술이 나오고 있지만, 근본적인 해결책이 되기는 어렵습니다.

왜 중요한가

우리는 거대 기술 기업들이 비영리 재단의 무료 인프라에 무임승차하는 행태가 한계에 다다랐다고 봅니다.

위키미디어는 전 세계 이용자의 자발적인 기부금으로 유지되는 곳입니다. 수조 원의 가치를 지닌 상용 AI 모델을 만들면서, 비영리단체의 대역폭을 50%나 더 쓰게 만들고 청구서만 떠넘기는 구조는 도덕적으로도 납득하기 어렵습니다.

이 문제가 방치된다면 웹사이트 운영자들은 크롤러를 피하기 위해 콘텐츠를 로그인 장벽이나 유료 결제창 뒤로 숨길 수밖에 없습니다.

결국 일반 사용자들이 누리던 무료 지식 검색 환경이 급격히 황폐해질 위험이 큽니다. 데이터 무료 채굴에 취해 있는 AI 업계가 인프라 비용 분담에 나서지 않는다면, 자신들의 젖줄인 오픈 웹 자체를 말려 죽이게 될 것입니다.