Wikimedia 共享资源带宽激增 50%：全是 AI 爬虫在挖冷门素材

维基百科的服务器原本是用来扛人类突发大事件的，比如某位名人去世或者发生全球大新闻时涌入的读者。但现在，把它服务器带宽挤爆的不是求知若渴的人类，而是嗷嗷待哺的 AI 爬虫。

维基媒体基金会（Wikimedia Foundation）近日公开表示，自 2024 年 1 月以来，旗下开放多媒体库 Wikimedia Commons 的多媒体下载带宽消耗暴涨了整整 50%。这后面绝大部分是各家科技公司用来训练 AI 模型的抓取脚本。

专挑冷门资源挖，把服务器逼进核心机房

很多人以为爬虫多也就是多占点带宽，但维基媒体披露的一组对比数字揭示了更残酷的现实。

从访问量看，爬虫带来的页面浏览量只占总数的 35%。但如果看那些最消耗资源、成本最贵的流量，爬虫的占比直接飙到了近三分之二，也就是 65%。

为什么会产生这么大的反差？说白了，人类看维基通常扎堆在热门词条上，这些内容早就保存在离用户最近的边缘缓存里，调取成本非常低。

AI 爬虫完全是另一种做派。它们为了喂饱多模态模型，往往会无差别地海量扫荡，专挑那些常年没人看的冷门图片和冷门网页抓。

这些冷门资源缓存里根本没有，每次抓取都得直接穿透到底层，让核心数据中心硬抗。这种调取极其昂贵，不仅带来庞大的云服务账单，还逼得维基媒体的系统可靠性团队（SRE）每天把大把时间和精力耗在拦截爬虫上，只为了不让普通人类读者的访问崩溃。

视规则如无物，逼得开源圈和站长反击

维基媒体的遭遇绝对不是个例，整个开放互联网都在被这股抽水式的抓取潮抽干。

开源倡导者 Drew DeVault 上个月就公开抱怨，现在的 AI 爬虫根本不在乎什么 robots.txt，哪怕站长写明了不让爬，对方照样大摇大摆破门而入。

知名技术博主 Gergely Orosz 也在前不久吐槽，来自 Meta 等巨头的 AI 爬虫把他在个人项目里的带宽消耗给打爆了。

很多开发者被逼得开始各出奇招进行防御。比如 Cloudflare 最近就上线了 AI Labyrinth，故意用 AI 生成的无限迷宫内容去拖死爬虫。

但这终究是一场不对称的猫鼠游戏。小网站和公益平台防不胜防，维基媒体 Commons 里存放的全是公有领域或开放协议的音视频图片，如今却成了 AI 厂商免费且无底线的素材矿场。

为什么重要

我们认为，AI 爬虫无视规则的暴力扫网，正在从根基上摧毁开放互联网的存在逻辑。

对于维基媒体基金会这样依赖公众捐款运作的非营利机构来说，带宽费用是实打实的真金白银。AI 巨头们拿着维基的数据去训练商业模型、赚取数以亿计的订阅费，却把高达 50% 的额外带宽成本和运维压力全甩给了公益基金会，这在商业道德上完全说不通。

这种局面如果继续恶化，看起来会把整个互联网推向一个坏结果：迫使原本免费开放的站点纷纷套上 Cloudflare 的重度验证盾牌，甚至把内容藏到登录和付费墙后面。

对普通用户而言，以后在网上随手查阅资料、寻找一张免版税图片可能会变得异常繁琐，到处都是人机验证。而对行业来说，巨头们如果只想白嫖生态却不给基础设施输血，最终可能会把养活自己的开放数据源彻底封死。