Wikimedia 共享资源带宽激增 50%:全是 AI 爬虫在挖冷门素材
Wikimedia 基金会表示,自 2024 年 1 月以来其共享资源库的多媒体下载带宽激增 50%,罪魁祸首是抓取 AI 训练数据的自动化爬虫。爬虫常批量扫荡未缓存的冷门资源,占了最耗资源流量的 65%,大幅推高了服务器和维护成本。
Wikimedia 基金会表示,自 2024 年 1 月以来其共享资源库的多媒体下载带宽激增 50%,罪魁祸首是抓取 AI 训练数据的自动化爬虫。爬虫常批量扫荡未缓存的冷门资源,占了最耗资源流量的 65%,大幅推高了服务器和维护成本。