Cloudflare、Webサイト全体を一度に収集する「/crawl」API公開 Markdown直出しに対応
Cloudflare は「Browser Rendering」の新機能として、単一の API 呼び出しで Web サイト全体を自動クロールできる「/crawl」エンドポイントのオープンベータを開始した。HTML だけでなく Markdown や構造化 JSON でも出力可能で、robots.txt を順守しながら RAG やモデル学習向けデータ収集を効率化できる。
Cloudflare は「Browser Rendering」の新機能として、単一の API 呼び出しで Web サイト全体を自動クロールできる「/crawl」エンドポイントのオープンベータを開始した。HTML だけでなく Markdown や構造化 JSON でも出力可能で、robots.txt を順守しながら RAG やモデル学習向けデータ収集を効率化できる。