Cloudflare 上线整站爬取 API：一次调用抓取全站，直出 Markdown 和 JSON

过去几年，任何写过爬虫的开发者大概都被 Cloudflare 毒打过：五秒盾、Turnstile 验证码、行为检测，层层设防，恨不得把所有非人类流量挡在门外。社交网络上甚至有人开玩笑，说 Cloudflare 才是真正拯救互联网带宽的守门人。

但有意思的反转来了。3 月 10 日，这家靠着拦截机器人起家的网络安全巨头，为自家 Browser Rendering 产品上线了一个官方整站爬取端点 /crawl，目前处于公开测试阶段。现在的 Cloudflare，不仅要防爬虫，还要教大家怎么「规范地」爬全网。

单次调用爬整站，还能直出 Markdown

以往我们要搭一个完整的爬虫流水线，得自己管队列、配无头浏览器渲染动态页面、解析 HTML 并清洗成文本。Cloudflare 这次做的事，说白了就是把这些脏活累活全打包进了一个 API 调用里。

你只需要向 /crawl 端点提交一个起始 URL，它就会自动顺着站点地图或页面链接往下翻，在无头浏览器中渲染内容，并通过异步任务的方式运行。你拿回一个任务 ID，轮询等待即可。据国内开发者社区引述的数据，该接口单次任务最大可以爬取 10 万页。

最讨喜的是它的输出格式。除了常规的静态 HTML，它还能直接返回清洗好的 Markdown，或者结合 Workers AI 实时提取出的结构化 JSON。这意味着拿到的数据不用二次解析，就能直接灌进大模型的上下文或者 RAG 知识库。

此外，它也给足了控制选项。你可以配置爬取深度、最大抓取页数，或者用通配符圈定 URL 范围；对于纯静态网站，只要把 render 参数设为 false，它就会跳过昂贵的无头浏览器，直接拉取静态网页；如果配置了 modifiedSince 或 maxAge 参数，它还能跳过没变动的页面，只做增量爬取。

守规矩的爬虫，不能帮你「翻墙破盾」

很多人看到 Cloudflare 出了爬虫，第一反应是：能不能用它来破 Cloudflare 自家的五秒盾？

答案是不行。Cloudflare 在文档里写得明明白白：/crawl 是一个严格自律的「认证爬虫」。它在请求头里会明确自报家门，并且默认遵守目标网站的 robots.txt 规则，包括等待 crawl-delay 时间，甚至还兼容 Cloudflare 自家的 AI 爬取控制规则。

换句话说，如果目标站点明确写了不准 AI 爬取，或者套了验证码拦截，这个 API 会老老实实掉头就走，绝不硬闯。目前这项功能已经在 Cloudflare Workers 的免费版和付费版计划中同时开放，任何人都能直接上手体验。

为什么重要

我们认为，Cloudflare 这一步走得极其精明，甚至有点「既当裁判又当运动员」的意味。

对于正在搭建 RAG 系统或训练小模型的开发者来说，这个端点省去了维护 Playwright 或 Puppeteer 集群的高昂成本。从抓取到切成 Markdown 再到结构化输出，全流程都在 Cloudflare 的边缘网络里跑完，开箱即用，门槛被拉到了极低。

更深层的影响在于数据爬取的规则重构。AI 时代的内容抓取早已陷入两难：开发者需要高质量数据，内容站长则苦于带宽被无休止地盗刷。Cloudflare 借这个产品划定了一条「合规抓取」的新标准——我给你提供极度丝滑的工具，但前提是你必须在我的规则框架内玩，尊重站长意愿。

不过它的局限也很直观。由于必须恪守规则，遇到防爬严格、反向封锁广泛的商业网站，它几乎无能为力。但在企业内部文档索引、开源知识库构建和开放站点的监控场景下，它已经足够干掉市面上一大批中间件服务了。