클라우드플레어, AI 크롤러에 최후통첩: 검색과 학습 분리 안 하면 기본 차단

웹사이트를 운영해 본 사람이라면 누구나 겪는 딜레마가 있습니다. 검색 유입을 늘리려면 구글 크롤러를 허용해야 하지만, 그 크롤러가 긁어간 내 글이 AI 요약에 쓰이면서 정작 사용자는 사이트를 방문하지 않고 광고 수익도 사라지기 때문입니다.

글로벌 웹 인프라 기업 클라우드플레어가 이 같은 무임승차 관행에 제동을 걸었습니다. 클라우드플레어는 AI 업계를 향해 기존 웹 검색용 크롤러와 AI 학습 및 에이전트용 크롤러를 2026년 9월 15일까지 분리하라는 최후통첩을 보냈습니다.

해당 마감일 이후 클라우드플레어는 광고가 포함된 웹페이지에서 검색과 AI 기능이 혼합된 크롤러를 기본 설정으로 자동 차단합니다. 이 조치는 신규 고객과 기존 고객의 신규 사이트는 물론, 현재 서비스를 이용 중인 모든 무료 플랜 사이트에도 예외 없이 적용됩니다.

거대 검색 기업의 꼼수에 맞불

대부분의 사이트 운영자는 자신의 콘텐츠가 검색에 잘 걸리길 원하고 AI 서비스에 인용되는 것 자체를 완전히 거부하지는 않지만, 지적 재산이 대가 없이 털리는 상황은 막고 싶어 합니다.

클라우드플레어는 세계 최대 검색 엔진을 직접 겨냥하며, 이 검색 대기업이 다른 AI 기업들보다 약 2배 많은 정보에 접근하고 있다고 지적했습니다. 검색 노출을 유지하면서 AI 활용만 거부하기 어렵도록 시스템을 묶어두었기 때문입니다.

구글은 그동안 Google-Extended 설정을 통해 제미나이나 버텍스 API 학습을 거부할 수 있고 검색 노출에도 영향이 없다고 반박해 왔습니다. 하지만 검색용 메인 크롤러인 Googlebot이 수집한 데이터는 여전히 검색 결과 화면의 AI 오버뷰와 AI 모드 기능에 직접 쓰이고 있습니다.

클라우드플레어 공동 창업자이자 CEO인 매튜 프린스는 인터넷 전체 트래픽 중 봇 트래픽이 사상 처음으로 인간 트래픽을 추월한 점을 이번 조치의 배경으로 꼽았습니다. 내년에나 일어날 것으로 보였던 역전 현상이 앞당겨진 만큼 더 신속한 대응이 필요하다는 설명입니다.

리소스 낭비도 심각합니다. 클라우드플레어 자체 통계에 따르면 AI 크롤러 트래픽의 50% 이상이 내용이 전혀 바뀌지 않은 페이지를 반복해서 긁어가는 데 낭비되고 있었습니다.

크롤링 과금에서 실제 사용 가치 과금으로

차단벽을 세우는 동시에 수익화 경로도 마련했습니다. 클라우드플레어는 기존에 크롤링 횟수당 비용을 청구하던 Pay Per Crawl 마켓플레이스를 콘텐츠가 실질적 가치를 만들어냈을 때 과금하는 Pay Per Use 모델로 확장했습니다.

초기 파트너로는 Ceramic.ai와 You.com이 참여했습니다. 사이트 운영자가 옵트인하면 자신의 콘텐츠가 Ceramic의 AI 검색 결과에 노출되거나 You.com이 프리미엄 콘텐츠에 접근할 때 정당한 대가를 정산받게 됩니다.

왜 중요한가

우리는 클라우드플레어가 매우 영리한 승부수를 던졌다고 봅니다. AI 기술 자체를 무작정 거부하는 대신, 전 세계 수많은 웹사이트의 대문 역할을 하는 자사 인프라 파워를 무기 삼아 콘텐츠 발행자와 AI 기업 사이의 공인 톨게이트로 자리 잡으려는 그림입니다.

일반 웹사이트 운영자와 크리에이터에게는 강력한 방패가 생겼습니다. 과거에는 검색 누락이 두려워 속수무책으로 당할 수밖에 없었지만, 광고 사이트 기본 차단이 활성화되면 복잡한 서버 설정 없이도 빅테크를 상대로 협상력을 쥘 수 있습니다.

다만 사용량 기반 과금 모델이 시장에 안착하려면 투명성이 확보되어야 합니다. AI 에이전트가 내 글을 언제 어떻게 참고해 얼마의 부가가치를 창출했는지 검증할 기준이 아직 모호합니다. 정산되는 금액이 푼돈에 그친다면 운영자들은 과금 대신 전면 차단을 선택할 가능성이 큽니다.

AI 업계 관점에서는 검색 크롤러라는 가면 뒤에 숨어 무제한으로 데이터를 긁어모으던 시대가 저물고 있습니다. 구글을 포함한 빅테크 기업들은 검색과 AI 인프라를 분리하거나 정당한 대가를 지불하는 새로운 웹 생태계 규칙에 적응해야만 할 것입니다.