Cloudflare 指控 Perplexity：伪装身份硬爬明确设防的网站

你以为在自家门上贴一张「谢绝推销」的告示就能挡住访客，但如果对方换上假发、借了邻居的工牌，甚至假装成自来水抄表员继续敲门呢？

这正是网络基础设施巨头 Cloudflare 指控 AI 搜索独角兽 Perplexity 正在做的事。周一，Cloudflare 发布了一项调查研究，直接点名 Perplexity 在明知网站拒绝抓取的情况下，故意隐瞒真实身份绕过拦截，强行抓取网页数据。

换马甲、装 Chrome：AI 爬虫的伪装术

事情的起因是有不少网站站长向 Cloudflare 投诉。他们明明已经在网站根目录的 Robots.txt 文件里写得清清楚楚，指名道姓封禁 Perplexity 的官方爬虫，但后台日志显示，对方依然在源源不断地搬运内容。

Cloudflare 随后展开了实测。结果发现，当 Perplexity 发现自己的公开爬虫被拦在门外时，并不会停手，而是换了一套玩法：它会随机更换 User-Agent 标识，伪装成运行在 macOS 上的普通 Google Chrome 浏览器。

不仅如此，它还会频繁切换自治系统网络编号（ASN），也就是改变自己在公网上的网络来源标识。Cloudflare 表示，他们通过机器学习与网络信号结合的指纹技术锁定了这些行为，这种绕过规则的抓取每天发生在数万个域名上，请求量高达数百万次。

面对这记实锤指控，Perplexity 的反应相当激烈。其发言人 Jesse Dwyer 直接反唇相讥，称 Cloudflare 的博客文章不过是一场「产品推销」，并表示博客里的截图恰恰证明「根本没有内容被访问到」。随后 Dwyer 甚至在邮件中声称，Cloudflare 文中指控的那个爬虫「根本就不是我们的」。

目前 Cloudflare 已经将 Perplexity 从其官方「已验证爬虫」列表中除名，并上线了新的识别与拦截规则。

越界抓取成了家常便饭

对于 Perplexity 来说，这早就不是第一次卷入抓取争议了。去年包括《连线》（Wired）在内的多家媒体就公开指责其涉嫌剽窃内容。在去年的 Disrupt 2024 大会上，Perplexity 首席执行官 Aravind Srinivas 被记者当面问及如何定义剽窃时，当场愣住、无法给出明确答复。

而站在对立面的 Cloudflare，最近反抗 AI 爬虫的姿态越来越高调。上个月，Cloudflare 刚推出一个新市场，允许网站所有者和出版商向访问其内容的 AI 爬虫收取费用。其首席执行官 Matthew Prince 曾公开发出警告，直言 AI 正在破坏互联网原有的商业模式，尤其是对内容出版商造成了巨大冲击。

更早之前，Cloudflare 还推出过免费工具，帮网站阻断那些抓取网页用来训练 AI 的未授权爬虫。

为什么重要

对普通用户和依赖 Perplexity 查资料的人来说，这起冲突揭开了一个有点尴尬的现实：你日常享受的秒级精确检索和即时信源汇总，很大程度上依赖于这些平台在灰色地带踩油门。如果网站全面封死抓取，或者把内容锁进付费墙，你搜到的答案质量很快就会下滑。

我们认为，Perplexity 这次被抓现行的做法相当危险。改头换面伪装成 Chrome 浏览器去撞门，本质上已经破坏了互联网长期赖以运转的君子协定。Robots.txt 固然只是一份没有法律强制力的文本协议，但一旦头部 AI 公司公然带头把它踩在脚下，内容创作者和出版方对 AI 行业的信任就会彻底归零。

从行业竞争来看，这给 Cloudflare 这样的基建厂商送上了最好的商业武器。Cloudflare 上个月刚做了让站长向 AI 爬虫收费的市场，转头就拿出 Perplexity 强闯民宅的证据，顺理成章地把自己塑造成内容创作者的保护伞。

看起来，依靠单方面抓取来维持信息供给的红利期正在加速见顶。接下来，无论是 Perplexity 还是其他 AI 搜索产品，要么老老实实坐下来跟出版商谈授权分成，要么就得面对越来越高、识别越来越精准的反爬防火墙。继续玩猫鼠游戏，代价只会越来越沉重。