앤트로픽 크롤러 '클로드봇', 이용약관 무시하고 iFixit 100만 회 긁어 논란
수리 전문 사이트 iFixit의 CEO는 앤트로픽의 크롤러 '클로드봇'이 24시간 동안 사이트에 거의 100만 번 접근하며 AI 학습 금지 약관을 위반했다고 폭로했다. 앤트로픽은 robots.txt 설정만 준수한다고 해명했다. 이번 사태는 이용약관만으로는 무단 수집을 막지 못하고 robots.txt 차단 외에 뚜렷한 대안이 없는 현실을 보여준다.
ClaudeBot
클라우드플레어, AI 크롤러 '원클릭 차단' 기능 무료 공개
클라우드플레어가 웹사이트 데이터를 긁어가는 AI 봇과 스크레이퍼를 한 번에 막을 수 있는 차단 스위치를 공개했다. 무료 요금제를 포함한 모든 사용자에게 제공되며, robots.txt를 무시하거나 일반 브라우저로 위장한 크롤러도 머신러닝으로 탐지해 걸러낸다. 사이트 운영자가 AI 모델 학습용 무단 크롤링을 손쉽게 방어할 수 있게 됐다.