클라우드플레어, 가짜 AI 미로로 무단 크롤러 가두는 AI Labyrinth 공개

무단으로 웹 데이터를 긁어가는 AI 크롤러를 막기 위해 지금까지 웹사이트들이 택한 방식은 대개 단순했습니다. IP를 차단하거나 403 오류를 띄우는 식이었지만, 크롤러는 프록시를 바꾸고 헤더를 세탁해 금세 다시 기어들어왔습니다.

이에 Cloudflare가 차단 대신 꺼내 든 카드는 독특합니다. 침입자를 막는 대신 인공지능이 만든 무한 미로에 가둬버리는 방식입니다.

Cloudflare는 3월 19일, 규칙을 지키지 않는 AI 크롤러를 생성형 AI 콘텐츠로 유인해 컴퓨팅 자원을 낭비시키는 방어 기능 'AI Labyrinth'를 공개했습니다. 복잡한 규칙 설정 없이 대시보드에서 토글 스위치 하나만 켜면 즉시 작동하며, 무료 플랜 이용자를 포함한 모든 고객에게 제공됩니다.

Cloudflare에 따르면 자사 네트워크를 거치는 AI 크롤러의 요청은 하루 500억 건 이상으로, 전 세계 웹 요청의 1%에 육박합니다.

크롤러의 GPU를 태우는 가짜 웹페이지 미로

AI Labyrinth의 핵심은 생성형 AI를 공격자가 아닌 방어 무기로 활용한다는 점입니다.

시스템이 허가받지 않은 스크래퍼를 감지하면 일반 사용자의 눈에는 전혀 보이지 않는 숨겨진 링크를 HTML에 삽입합니다. 일반 방문자나 정상적인 검색 엔진 크롤러에는 영향을 주지 않지만, 코드를 기계적으로 긁어모으는 봇은 이 미끼를 물게 됩니다.

링크 너머에는 Cloudflare의 Workers AI와 오픈소스 모델로 사전 제작된 정교한 가짜 웹페이지들이 얽혀 있습니다. 가짜 뉴스 확산을 막기 위해 실제 과학적 사실 기반의 텍스트로 채워져 있지만, 공격 대상 사이트의 원본 콘텐츠와는 아무런 관련이 없습니다.

크롤러는 이 미로 안에서 쓸모없는 데이터를 긁어모으느라 값비싼 GPU 연산력과 네트워크 대역폭을 허공에 날리게 됩니다.

봇을 낚아 탐지 모델을 훈련시키는 차세대 허니팟

AI Labyrinth는 상대의 자원을 낭비시키는 동시에 고성능 허니팟 역할을 수행합니다.

실제 인간 사용자가 AI가 생성한 무의미한 페이지의 링크를 서너 단계 깊이 파고들 리는 없습니다. 따라서 미로 깊숙이 들어온 트래픽은 거의 100% 확률로 비인가 봇으로 판정됩니다.

Cloudflare는 이들의 행동 패턴과 핑거프린트를 즉시 수집해 자체 머신러닝 탐지 모델에 학습시킵니다. 한 사이트를 공격하려던 봇의 흔적이 네트워크 전체의 보안 장벽을 높이는 거름이 되는 셈입니다. 향후에는 미로 페이지의 구조를 원본 웹사이트와 한층 더 비슷하게 맞춰 탐지 회피를 원천 차단할 계획입니다.

왜 중요한가

중소형 웹사이트 운영자나 독립 개발자에게 이번 기능은 매우 반가운 도구입니다. 지금까지는 값비싼 방화벽을 쓰거나 복잡한 차단 규칙을 짜느라 애를 먹었지만, 이제는 무료 계정에서도 클릭 한 번으로 무단 수집 시도를 무력화할 수 있습니다.

보안 업계 관점에서는 방어의 패러다임이 '단순 차단'에서 '경제적 출혈 강요'로 바뀌었다는 데 의미가 있습니다. 방어자가 낮은 비용으로 미끼를 던져 공격자의 값비싼 인프라 비용을 소모시키는 비대칭 전술을 구현한 셈입니다.

다만 이 방어선이 영원할 것으로 보이지는 않습니다. 크롤러 역시 맥락을 이해하는 자율형 에이전트로 진화하면서 본래 주제와 다른 미끼를 알아채고 즉시 빠져나가는 방식을 학습할 가능성이 높습니다. 그럼에도 공격자의 주 무기인 생성형 AI를 방어 무기로 역이용해 봇들의 계산 비용을 끌어올린 점은 매우 영리한 접근입니다.