클라우드플레어, 사이트 전체 긁어오는 '/crawl' API 공개…마크다운 즉시 변환
클라우드플레어가 한 번의 API 호출로 전체 웹사이트를 자동 크롤링하는 Browser Rendering의 '/crawl' 엔드포인트 공개 베타를 출시했다. HTML뿐 아니라 마크다운과 구조화된 JSON으로 바로 결과를 받아볼 수 있으며, robots.txt 규칙을 준수해 RAG 구축과 모델 학습 데이터 수집에 최적화됐다.
클라우드플레어가 한 번의 API 호출로 전체 웹사이트를 자동 크롤링하는 Browser Rendering의 '/crawl' 엔드포인트 공개 베타를 출시했다. HTML뿐 아니라 마크다운과 구조화된 JSON으로 바로 결과를 받아볼 수 있으며, robots.txt 규칙을 준수해 RAG 구축과 모델 학습 데이터 수집에 최적화됐다.