Cloudflare 上線整站爬取 API：一次呼叫抓取全站，直出 Markdown 和 JSON

過去幾年，任何寫過爬蟲的開發者大概都被 Cloudflare 毒打過：五秒盾、Turnstile 驗證碼、行為檢測，層層設防，恨不得把所有非人類流量擋在門外。社交網路上甚至有人開玩笑，說 Cloudflare 才是真正拯救網際網路頻寬的守門人。

但有意思的反轉來了。3 月 10 日，這家靠著攔截機器人起家的網路安全巨頭，為自家 Browser Rendering 產品上線了一個官方整站爬取端點 /crawl，目前處於公開測試階段。現在的 Cloudflare，不僅要防爬蟲，還要教大家怎麼「規範地」爬全網。

單次呼叫爬整站，還能直出 Markdown

以往我們要搭一個完整的爬蟲流水線，得自己管佇列、配無頭瀏覽器渲染動態頁面、解析 HTML 並清洗成文本。Cloudflare 這次做的事，說白了就是把這些髒活累活全打包進了一個 API 呼叫裡。

你只需要向 /crawl 端點提交一個起始 URL，它就會自動順著站點地圖或頁面連結往下翻，在無頭瀏覽器中渲染內容，並通過非同步任務的方式執行。你拿回一個任務 ID，輪詢等待即可。據國內開發者社群引述的資料，該介面單次任務最大可以爬取 10 萬頁。

最討喜的是它的輸出格式。除了常規的靜態 HTML，它還能直接返回清洗好的 Markdown，或者結合 Workers AI 即時提取出的結構化 JSON。這意味著拿到的資料不用二次解析，就能直接灌進大模型的上下文或者 RAG 知識庫。

此外，它也給足了控制選項。你可以配置爬取深度、最大抓取頁數，或者用萬用字元圈定 URL 範圍；對於純靜態網站，只要把 render 引數設為 false，它就會跳過昂貴的無頭瀏覽器，直接拉取靜態網頁；如果配置了 modifiedSince 或 maxAge 引數，它還能跳過沒變動的頁面，只做增量爬取。

守規矩的爬蟲，不能幫你「翻牆破盾」

很多人看到 Cloudflare 出了爬蟲，第一反應是：能不能用它來破 Cloudflare 自家的五秒盾？

答案是不行。Cloudflare 在文件裡寫得明明白白：/crawl 是一個嚴格自律的「認證爬蟲」。它在請求頭裡會明確自報家門，並且預設遵守目標網站的 robots.txt 規則，包括等待 crawl-delay 時間，甚至還相容 Cloudflare 自家的 AI 爬取控制規則。

換句話說，如果目標站點明確寫了不準 AI 爬取，或者套了驗證碼攔截，這個 API 會老老實實掉頭就走，絕不硬闖。目前這項功能已經在 Cloudflare Workers 的免費版和付費版計劃中同時開放，任何人都能直接上手體驗。

為什麼重要

我們認為，Cloudflare 這一步走得極其精明，甚至有點「既當裁判又當運動員」的意味。

對於正在搭建 RAG 系統或訓練小模型的開發者來說，這個端點省去了維護 Playwright 或 Puppeteer 叢集的高昂成本。從抓取到切成 Markdown 再到結構化輸出，全流程都在 Cloudflare 的邊緣網路裡跑完，開箱即用，門檻被拉到了極低。

更深層的影響在於資料爬取的規則重構。AI 時代的內容抓取早已陷入兩難：開發者需要高質量資料，內容站長則苦於頻寬被無休止地盜刷。Cloudflare 借這個產品劃定了一條「合規抓取」的新標準——我給你提供極度絲滑的工具，但前提是你必須在我的規則框架內玩，尊重站長意願。

不過它的侷限也很直觀。由於必須恪守規則，遇到防爬嚴格、反向封鎖廣泛的商業網站，它幾乎無能為力。但在企業內部文件索引、開源知識庫構建和開放站點的監控場景下，它已經足夠幹掉市面上一大批中介軟體服務了。