클라우드플레어, AI 크롤러에 최후통첩: 검색과 학습 분리 안 하면 기본 차단
클라우드플레어가 AI 기업들에게 웹 검색용 크롤러와 AI 학습 및 에이전트용 크롤러를 분리하라고 요구했다. 2026년 9월 15일부터 혼합 크롤러는 광고가 실린 웹페이지에서 기본 차단된다. 검색 노출을 내세워 AI 학습 데이터를 무단 수집하는 관행을 막고, 퍼블리셔가 콘텐츠 활용에 대한 정당한 보상을 받도록 유도하는 조치다.
클라우드플레어가 AI 기업들에게 웹 검색용 크롤러와 AI 학습 및 에이전트용 크롤러를 분리하라고 요구했다. 2026년 9월 15일부터 혼합 크롤러는 광고가 실린 웹페이지에서 기본 차단된다. 검색 노출을 내세워 AI 학습 데이터를 무단 수집하는 관행을 막고, 퍼블리셔가 콘텐츠 활용에 대한 정당한 보상을 받도록 유도하는 조치다.