Cloudflare CEO 称用户不再点 AI 来源链接:OpenAI 抓 1500 页才引流 1 人
据 Axios 报道,Cloudflare CEO 透露用户极少再点击 AI 机器人的引用链接,导致出版商引流雪崩。OpenAI 如今爬取 1500 页才为网站带去 1 个访客,Anthropic 更是 6 万比 1。Cloudflare 正研发新工具,拦截那些无视禁爬指令的 AI 爬虫。

AI 聊天机器人每次回答完问题,底下都会规规矩矩地附上几个网页链接。开发商总拿这个当挡箭牌,意思是「看,我们可没白拿内容,还帮你们导流了呢」。
但真实情况究竟如何?Cloudflare 首席执行官 Matthew Prince 最近接受 Axios 采访时,直接把这块遮羞布给扯了下来:根本没人点那些链接。
流量断崖:从两个人看一篇,到六万篇换一个人
Prince 给出了一组相当惊人的数据。十年前,Google 每抓取两个网页,就能给网站送去一位访客。六个月前,这个比例变成了抓六篇来一个人;而到了现在,Google 抓十八篇才来一个人。
但这还算好的,AI 公司的数字才叫真正的断崖式崩塌。
六个月前,OpenAI 每抓取 250 个页面,能给出版商回馈一位访客。现在,这个数字变成了 1500 篇换一位访客。
Anthropic 就更夸张了。六个月前是抓 6000 篇带一个访客,现在直接跌到了 60000 篇才给一个访客。
说白了,过去这几个月里,大家越来越信任 AI 的总结,看完摘要就直接关掉,根本没人会去点下面的参考来源。对靠网页广告养活团队的出版商来说,这无异于灭顶之灾。
既然不守规矩,那就请君入瓮
更让出版商憋屈的是,很多 AI 爬虫根本不管什么网络礼仪。早在去年就有报道爆出,多家 AI 公司完全无视网站的 robots.txt 协议,就算网页标明了「禁止抓取」,对方也是照抄不误。
Prince 表示,Cloudflare 正在开发专门的工具,哪怕网页已经写了禁止抓取指令,也要强行把这帮硬闯的爬虫挡在门外。
其实他们从去年就在琢磨怎么对付爬虫。今年 3 月,Cloudflare 就上线了一个叫「AI 迷宫」(AI Labyrinth)的方案。
它的思路非常损但也非常管用:如果未经许可的爬虫硬要抓,系统就会用 AI 实时生成一堆看似逼真、实则毫无意义的网页,把爬虫引进去团团转。抓了一堆假内容不说,还白白消耗了爬虫背后的服务器算力和时间。
Prince 在采访里放了句狠话:「我每天都在跟多国黑客交手,他们天天想黑进我们客户的网站。现在你跑来跟我说,我居然搞不定帕洛阿尔托那帮开公司的书呆子?」
为什么重要
这件事狠狠戳破了 AI 行业维持已久的利益互惠谎言。
大模型厂商一直宣称附带来源链接是给创作者的补偿,但从 60000 篇换 1 个点击的惨淡现实来看,这种所谓的「导流补偿」在商业上已经彻底名存亡实。
对于内容创作者和独立媒体来说,指望 AI 给你送流量完全是天方夜谭。如果你的商业模式严重依赖展示广告和页面 PV,现在就必须考虑转型,比如转向付费订阅、私域社群,或者主动封锁抓取。
而 Cloudflare 的做法在我们看来非常聪明。它不再寄希望于 AI 公司遵守道德自律,而是直接在网络基础设施层把内容武装起来,甚至用 AI 去消耗 AI。这一步看起来会逼得 AI 公司不得不坐回谈判桌,真正掏出真金白银来买内容版权,而不是用虚无缥缈的点击率来画饼。
来源 (1)
- engadget.com(在新标签页打开)原文engadget.com