앤트로픽 크롤러 '클로드봇', 이용약관 무시하고 iFixit 100만 회 긁어 논란

AI 챗봇 Claude에게 전자기기 수리 정보 사이트 iFixit의 콘텐츠를 학습 데이터로 써도 되는지 물어본다면, Claude는 사이트 이용약관상 엄격히 금지되어 있다고 예의 바르게 답변할 것입니다.

하지만 Anthropic이 실제로 가동하는 웹 크롤러는 그 답변을 전혀 신경 쓰지 않았습니다.

iFixit의 최고경영자 Kyle Wiens는 Anthropic의 데이터 수집 봇인 ClaudeBot이 단 24시간 동안 iFixit 서버를 무려 100만 회 가까이 타격했다고 밝혔습니다. 이는 iFixit의 이용약관을 정면으로 위반한 행위라는 지적이 나옵니다.

서버 경보 울린 무차별 크롤링

Wiens는 소셜미디어를 통해 Claude가 스스로 iFixit 데이터 수집이 금지되어 있음을 인정하는 화면을 게시하며 분통을 터뜨렸습니다. 대가를 치르지 않고 데이터를 긁어가는 것은 물론, 개발 및 운영팀 리소스까지 낭비시키고 있다는 비판이었습니다.

Wiens가 The Verge에 밝힌 바에 따르면, iFixit은 대규모 트래픽을 처리하는 글로벌 대형 사이트로서 웹 크롤러에 익숙하지만 이번 ClaudeBot의 수집 빈도는 시스템 경보를 울릴 만큼 비정상적이었습니다.

iFixit 이용약관은 사전 서면 동의 없는 콘텐츠 복제와 배포를 금지하며, 머신러닝 및 AI 모델 학습 목적을 명시적으로 불허하고 있습니다. 그러나 404 Media의 질의에 Anthropic은 자사 크롤러는 오직 robots.txt 설정을 통해서만 차단할 수 있다는 FAQ 페이지만 안내했습니다.

이후 iFixit이 robots.txt에 요청 지연 설정을 추가하자 크롤링이 멈췄으며, Anthropic 대변인 Jennifer Martinez 역시 robots.txt의 신호를 준수해 수집을 중단했다고 확인했습니다.

이미 누적된 크롤링 피해 사례들

이번 사태의 피해자는 iFixit뿐만이 아닙니다. 문서 호스팅 플랫폼 Read the Docs의 공동 창업자 Eric Holscher와 프리랜서 중개 플랫폼 Freelancer.com의 최고경영자 Matt Barrie 역시 ClaudeBot의 공격적인 크롤링을 겪었다고 밝혔습니다.

이러한 무차별 수집은 어제오늘 일이 아닙니다. 지난 4월에는 Linux Mint 공식 웹 포럼이 다운되는 사태가 발생했는데, 그 원인 역시 ClaudeBot의 과도한 트래픽 유발로 지목되었습니다. 커뮤니티 Reddit에서도 몇 달 전부터 관련 불만이 꾸준히 제기되어 왔습니다.

OpenAI를 비롯한 다수 AI 기업이 robots.txt 기반의 옵트아웃 방식을 고수하고 있지만, 이는 웹사이트 소유자가 세부적인 이용 조건을 설정하기에 턱없이 부족합니다. 심지어 일부 기업은 robots.txt마저 무시하는 실정입니다.

왜 중요한가

웹사이트를 운영하는 기업과 개발자에게 이번 사건은 중대한 경고입니다. 이용약관에 AI 학습 금지를 아무리 빽빽하게 적어두어도 크롤러는 이를 읽지 않으므로, 데이터 유출과 서버 장애를 막으려면 지금 즉시 robots.txt 파일 설정을 갱신해야 합니다.

AI 산업 전체로 보면, 고품질 학습 데이터를 둘러싼 경쟁이 얼마나 한계에 다다랐는지를 여실히 보여줍니다. 다른 서비스의 정상적인 운영을 방해하면서까지 데이터를 쓸어 담아야 할 정도로 데이터 기근이 심각해진 것입니다.

우리는 Anthropic의 이번 대처가 매우 실망스럽다고 봅니다. 안전과 윤리를 최우선 가치로 내세우던 기업이, 겉으로는 규정을 아는 척하면서 뒤에서는 수십 년 된 robots.txt 관행 뒤에 숨어 법적 약관을 무시하는 이중적인 태도를 보였기 때문입니다. AI 개발사들이 이 같은 막무가내식 수집을 멈추지 않는다면, 웹 생태계는 점점 더 높은 벽을 쌓고 폐쇄적인 유료화로 돌아설 수밖에 없어 보입니다.