클라우드플레어, AI 크롤러 '원클릭 차단' 기능 무료 공개

지난 2년 동안 수많은 웹사이트 운영자들은 자사의 독창적인 콘텐츠가 빅테크 AI 모델의 학습 데이터로 무단 수집되는 광경을 속수무책으로 지켜봐야 했습니다. 거대 커뮤니티인 레딧은 구글로부터 연간 6,000만 달러 규모의 라이선스 계약을 따냈지만, 중소형 웹사이트나 개인 창작자에게는 그런 기회조차 없었습니다.

이 판도에 제동을 걸기 위해 클라우드플레어가 나섰습니다. 7월 3일, 클라우드플레어는 웹사이트에 접근하는 모든 AI 봇과 스크레이퍼를 클릭 한 번으로 차단할 수 있는 기능을 공식 출시했습니다. 가장 파격적인 점은 엔터프라이즈뿐만 아니라 무료 요금제 사용자를 포함한 모든 고객에게 이 기능을 즉시 제공한다는 사실입니다.

사용법도 직관적입니다. 클라우드플레어 대시보드의 보안 메뉴 아래 봇 섹션으로 이동해 'AI Scrapers and Crawlers' 토글 버튼을 켜기만 하면 됩니다.

바이트댄스와 OpenAI의 무차별 수집, 무방비로 노출된 웹사이트들

클라우드플레어는 출시와 함께 전 세계 자사 네트워크에서 관측된 AI 크롤러들의 충격적인 활동 데이터도 공개했습니다. 요청 건수 기준으로 가장 활발한 4대 봇은 틱톡의 모회사 바이트댄스의 Bytespider, 아마존의 Amazonbot, 앤스로픽의 ClaudeBot, 그리고 OpenAI의 GPTBot이었습니다.

가장 공격적인 곳은 바이트댄스였습니다. Bytespider는 요청량 1위는 물론이고 크롤링 범위와 웹사이트 관리자에 의해 차단된 빈도 모두에서 압도적인 1위를 차지했습니다. 클라우드플레어가 보호하는 전체 웹사이트 중 무려 40.40%가 Bytespider의 접근을 받았습니다. OpenAI의 GPTBot이 35.46%로 그 뒤를 바짝 쫓았고, ClaudeBot도 11.17%에 달했습니다.

반면 웹사이트들의 방어 상태는 처참한 수준이었습니다. 6월 기준 상위 100만 개 웹사이트 중 38.73%가 AI 봇의 방문을 받았지만, 이들을 실제로 차단하거나 챌린지를 걸어 방어한 웹사이트는 2.98%에 불과했습니다. 게다가 대다수 관리자는 robots.txt 파일에 GPTBot이나 Google만 등록해 두고, 정작 가장 거세게 긁어가는 Bytespider나 ClaudeBot은 방치하고 있었습니다.

브라우저로 위장해도 지문 분석으로 잡아낸다

더 큰 문제는 기존의 robots.txt가 일종의 신사협정에 불과하다는 점입니다. 봇 운영자가 사용자 에이전트(User-Agent) 정보를 일반 크롬 브라우저인 것처럼 조작하면 무력화됩니다. 실제로 최근 AI 검색 스타트업 퍼플렉시티는 일반 방문객으로 신분을 위장해 콘텐츠를 스크래핑했다는 의혹을 받기도 했습니다.

클라우드플레어는 이 문제를 해결하기 위해 프로토콜 신뢰를 버리고 네트워크 지문 분석을 도입했습니다. 초당 평균 5,700만 건 이상의 요청을 처리하는 거대한 네트워크를 활용해, 봇이 사용하는 프레임워크와 트래픽 특성을 머신러닝으로 분석합니다.

이 시스템은 30점 미만의 점수를 받은 트래픽을 봇으로 판별합니다. 신분을 감추고 웹을 긁어가는 악성 AI 봇을 분석한 결과, 요청 헤더를 어떻게 속이든 상관없이 대다수 요청이 9점 이하의 최하위 점수를 받으며 봇으로 분류되었습니다.

왜 중요한가

이 조치는 거대 AI 기업에 일방적으로 콘텐츠를 뺏기던 창작자와 독립 웹사이트가 실질적인 주도권을 되찾는 전환점입니다. 복잡한 방화벽 규칙을 짜거나 값비싼 보안 솔루션을 살 여력이 없던 소규모 사이트도 무료로 데이터를 방어할 수 있게 되었습니다.

AI 업계 관점에서는 인터넷 전체를 무제한 '공짜 데이터 뷔페'로 쓰던 시대가 끝나가고 있음을 뜻합니다. 전 세계 웹 트래픽의 상당 부분을 중계하는 클라우드플레어가 차단 장벽을 낮추면서, 파운데이션 모델 학습에 필수적인 고품질 텍스트 수급은 한층 더 어려워질 것입니다. AI 기업들은 이제 정당한 대가를 지불하고 데이터를 사 오거나, 검증되지 않은 합성 데이터에 의존해야 하는 압박을 받게 됩니다.

우리는 클라우드플레어가 창작자들의 박탈감을 정확히 포착해 자사 플랫폼의 가치를 높이는 매우 영리한 수를 뒀다고 평가합니다. 다만 앞으로 AI 크롤러들이 탐지를 피하기 위해 주거용 프록시나 고도화된 인간 행동 모방 기법을 동원할 가능성이 높은 만큼, 양측의 숨바꼭질은 한층 더 치열해질 것으로 보입니다.