Cloudflare 推出 AI Labyrinth：用 AI 迷宫困住违规爬虫

过去网站对付偷数据的 AI 爬虫，做法通常很简单粗暴：直接关门拉黑，返回 403 错误。

但这招早就不好使了。抓数据的公司发现被拦，换个代理 IP、改一下请求头，转头又钻了进来，防守方只能疲于奔命。

Cloudflare 现在换了个思路：既然拦不住，那就索性不拦了，反手给爬虫造一座走不出来的虚拟迷宫。

Cloudflare 正式上线了一项名为 AI Labyrinth 的新功能。只要站长在后台点一下开关，就能把那些不守规矩的 AI 爬虫诱导进一个由 AI 生成的无限网页迷宫里。这项功能直接面向所有客户开放，连免费版用户也能用。

按照 Cloudflare 披露的数据，现在每天有超过 500 亿次 AI 爬虫请求扫过他们的网络，占到全网总请求量的将近 1%。面对这么庞大的爬取大军，单靠硬封锁已经很难奏效。

给爬虫造一个「无限套娃」的假世界

AI Labyrinth 的核心逻辑非常损：用生成式 AI 来反制生成式 AI。

当系统检测到不守规矩的爬虫在抓取网页时，页面上会出现普通人类肉眼完全看不到的隐藏链接。正常用户浏览不受任何影响，搜索引擎的正常收录也会被专门的标签保护起来。

但顺着 HTML 代码爬行的机器人看到链接，就会以为自己找到了新宝藏，一头扎进去。

等待它们的是 Cloudflare 提前用 Workers AI 和开源模型生成的逼真网页。为了不拖慢网站速度，这些内容提前存放在 R2 存储里。为了不污染互联网，这些页面写的都是真实的科学常识，但跟原网站的业务内容没有半点关系。

爬虫点开一个页面，里面又连着另一个页面。它们在里面疯狂爬取、解析、存储，消耗着昂贵的 GPU 算力和带宽，最后满载而归的却是一堆跟原网站毫无关系的废纸。

抓贼顺便拿来当训练数据

除了浪费对手的算力，AI Labyrinth 还是一个新一代蜜罐。

蜜罐技术在安全圈已经存在了几十年，但过去的隐藏链接很容易被现代爬虫识破。而这次的迷宫由大量互相交织的真实语料组成，正常人类绝不可能顺着这种链接连点三四层。

一旦有访客在迷宫深处流连忘返，Cloudflare 就可以百分之百确定它是个未报备的恶意机器人。

系统会立刻提取这个爬虫的行为特征和网络指纹，把它补充进恶意行为库，并同步喂给底层的机器学习模型。这意味着，只要一个爬虫踩进迷宫，它留下的指纹就会立刻用来保护 Cloudflare 上的其他所有站点。

目前这套系统生成的假页面结构还比较固定。Cloudflare 表示，未来的版本会让生成的迷宫页面更加贴合原网站的结构风格，让爬虫更难察觉自己已经中了计。

为什么重要

对中小站长和独立开发者来说，这可能是近几年体验最爽的防御工具。以前你想防 AI 爬虫，既要折腾 robots.txt，又要花钱买高阶防火墙规则，还防不住伪装成正常浏览器的爬虫；现在连免费版都能一键开启，把防守成本直接降到了零。

从安全攻防的角度看，这一招聪明在扭转了攻守双方的经济账。过去爬虫写个脚本成本极低，防守方分析日志、买带宽封禁成本极高；现在 Cloudflare 把生成假内容的边际成本压得极低，反过来逼着抓取方为了清洗这堆无用数据付出高昂的显存、带宽和清洗成本，属于典型的四两拨千斤。

不过我们认为，这种防御手段能领先的时间窗口可能不会太长。随着爬虫越来越智能化，具备上下文推理能力的高级 Agent 很快就能察觉出内容主题脱节，从而学会提前跳出迷宫。但至少在当下，这场用 AI 对抗 AI 的捉迷藏，Cloudflare 确实给行业开了一个很有意思的脑洞。