클라우드플레어, 사이트 전체 긁어오는 '/crawl' API 공개…마크다운 즉시 변환

웹 크롤러를 한 번이라도 만들어 본 개발자라면 클라우드플레어의 악명 높은 봇 차단 화면에 막혀본 경험이 있을 것입니다. 웹 트래픽의 파수꾼을 자처하며 봇을 철저히 막아내던 클라우드플레어가, 이번에는 정반대로 공식 웹 크롤링 API를 내놓았습니다.

클라우드플레어는 3월 10일, 브라우저 렌더링(Browser Rendering) 서비스의 신규 기능인 '/crawl' 엔드포인트를 공개 베타로 출시했습니다. 단 한 번의 API 호출로 전체 웹사이트를 자동으로 긁어올 수 있는 기능입니다.

단 한 번의 호출로 전 사이트 수집, 마크다운 즉시 변환

RAG 파이프라인이나 AI 데이터셋을 만들기 위해 웹을 긁어오려면, 헤드리스 브라우저를 띄우고 자바스크립트를 렌더링한 뒤 지저분한 HTML을 파싱하는 번거로운 과정을 거쳐야 했습니다. 클라우드플레어는 이 과정을 단일 비동기 API로 압축했습니다.

시작 URL을 넘기면 사이트맵과 내부 링크를 추적해 페이지를 자동 탐색하고, 백그라운드에서 헤드리스 브라우저로 렌더링을 처리합니다. 커뮤니티 공유 내용에 따르면 최대 10만 페이지까지 수집할 수 있습니다.

가장 매력적인 지점은 출력 포맷입니다. 원본 HTML은 물론, LLM에 바로 주입할 수 있는 마크다운과 Workers AI를 활용해 주요 정보만 뽑아낸 구조화된 JSON 형태로 곧바로 반환받을 수 있습니다.

제어 옵션도 촘촘합니다. 수집 깊이, 페이지 상한, 와일드카드 경로 필터링을 지정할 수 있으며, 동적 렌더링이 필요 없는 정적 문서 사이트라면 render 옵션을 꺼서 브라우저 구동 없이 빠르게 HTML만 가져올 수도 있습니다. modifiedSince 파라미터를 이용해 변경된 페이지만 골라 긁어오는 증분 크롤링도 지원합니다.

규칙을 철저히 지키는 '착한 봇'

그렇다면 이 API로 클라우드플레어 자체의 캡차나 봇 차단을 우회할 수 있을까요? 당연히 불가능합니다.

클라우드플레어는 해당 엔드포인트가 자신을 명확한 봇으로 식별하는 검증된 에이전트라고 설명합니다. 대상 사이트의 robots.txt 규칙과 crawl-delay 지침을 기본적으로 엄격히 준수하며, 자사의 AI 크롤링 통제 규칙 역시 그대로 따릅니다. 사이트 소유자가 AI 수집을 거부했다면 순순히 돌아섭니다.

현재 이 기능은 Cloudflare Workers의 무료 플랜과 유료 플랜 사용자 모두에게 열려 있어 누구나 바로 테스트해 볼 수 있습니다.

왜 중요한가

저희는 클라우드플레어의 이번 행보가 AI 데이터 수집 시장의 판도를 영리하게 선점하려는 전략이라고 봅니다.

RAG 시스템이나 지식 베이스를 구축하는 엔지니어 입장에서, 자체 퍼펫티어(Puppeteer)나 플레이라이트(Playwright) 클러스터를 운영하는 인프라 비용과 유지보수 부담이 완전히 사라집니다. 크롤링부터 텍스트 정제, 마크다운 변환까지 에지 네트워크 안에서 한 번에 끝나기 때문입니다.

더 나아가 산업 전반에는 크롤링의 '양성화'를 유도하는 신호탄이 됩니다. 무차별적인 무단 스크래핑으로 서버가 마비되고 소송이 오가는 시대에, 웹마스터의 규칙을 지키면서도 가장 쓰기 편한 공식 도구를 공급해 데이터 수집의 표준 규격을 장악하겠다는 의도가 엿보입니다.

방어벽이 높은 폐쇄형 사이트의 데이터를 강제로 긁어올 수는 없다는 태생적 한계가 있지만, 공개된 기술 문서나 블로그를 인덱싱하고 모니터링해야 하는 수많은 개발팀에게는 더할 나위 없이 훌륭한 선택지가 등장했습니다.