Cloudflare 上線整站爬取 API:一次呼叫抓取全站,直出 Markdown 和 JSON
Cloudflare 為 Browser Rendering 推出 /crawl 端點公開測試,開發者僅需單次 API 呼叫即可自動抓取整站內容,並直接返回 HTML、Markdown 或結構化 JSON。該介面預設遵守 robots.txt,專為搭建 RAG 知識庫和模型訓練提供合規資料抓取通道。
Cloudflare 為 Browser Rendering 推出 /crawl 端點公開測試,開發者僅需單次 API 呼叫即可自動抓取整站內容,並直接返回 HTML、Markdown 或結構化 JSON。該介面預設遵守 robots.txt,專為搭建 RAG 知識庫和模型訓練提供合規資料抓取通道。