Cloudflare、Webサイト全体を一度に収集する「/crawl」API公開　Markdown直出しに対応

スクレイピングを経験したことがある開発者なら、Cloudflareの頑丈なボット対策システムに一度は阻まれたことがあるはずです。Web上の機械的アクセスを誰よりも厳格に遮断してきた当の企業が、なんと公式のクローリングAPIを提供し始めました。

Cloudflareは3月10日、サーバーレスブラウザ環境を提供する「Browser Rendering」の新機能として、「/crawl」エンドポイントのオープンベータを公開しました。開始URLを一度投げるだけで、サイト全体を自動で巡回して収集してくれます。

単一APIで丸ごと収集、MarkdownやJSONで直出し

従来、動的Webサイトのデータを集めるには、ヘッドレスブラウザの管理やページ遷移の処理、生HTMLのテキスト整形など、面倒なパイプライン構築が必須でした。

今回の/crawlエンドポイントは、そうした前処理を一掃してくれます。開始URLを渡せば、サイトマップやページ内のリンクから自動でページを発見し、非同期ジョブとしてバックグラウンドで巡回・レンダリングを実行します。開発者コミュニティの報告によると、最大で10万ページ規模のクロールにも対応しています。

AI開発者にとって嬉しいのは、出力形式の柔軟さです。通常のHTMLだけでなく、LLMにそのまま食わせられるMarkdown形式や、Workers AIと連動して抽出した構造化JSONでの取得が可能です。

さらに、探索の深さや最大ページ数、ワイルドカードによるパスの除外指定もサポートされています。静的なブログやドキュメントなら「render: false」を指定してブラウザ起動をスキップし高速化できるほか、modifiedSinceなどのパラメータを使って更新のないページを省く増量クロールにも対応しています。

ルールを守る「お行儀の良い」ボット

もちろん、このAPIを使ってCloudflare自身の認証バリアを突破することはできません。

エンドポイントは自身をボットとして名乗り、対象サイトのrobots.txtやcrawl-delayの指定、さらに同社自身の「AI Crawl Control」ルールをデフォルトで厳密に順守します。サイト側が明確にAI収集を拒否している場合、無理に侵入することはありません。

この機能は、Cloudflare Workersの無料プランおよび有料プランの両方で即座に試すことができます。

なぜ重要か

ネットの「最強の盾」を作ってきたCloudflareが、今度はクローラーの提供に回った動きは非常に興味深いと言えます。

RAG（検索拡張生成）システムや社内ナレッジベースを構築したい開発者にとって、自前でPuppeteerなどのクラスターを保守するコストはゼロになります。収集からMarkdown化までをCloudflareのエッジ上で完結できる手軽さは、個人開発者やスタートアップにとって大きな武器になります。

業界全体で見れば、AI向けデータ収集の「脱・無法地帯化」を進める一手と捉えられます。Webマスターの意向を無視した無謀なスクレイピングが問題視されるなか、ルール順守を前提とした使いやすい公式インフラを提示することで、合法的かつ持続可能なデータ収集の標準を自ら握ろうとしています。

厳格にルールを守るため、アクセスを拒絶するサイトの突破には使えませんが、公開ドキュメントや自社管理サイトの取り込みツールとしては、既存の多くのスクレイピングサービスを過去のものにする可能性を秘めています。