Wikimedia 共享資源頻寬激增 50%:全是 AI 爬蟲在挖冷門素材
Wikimedia 基金會表示,自 2024 年 1 月以來其共享資源庫的多媒體下載頻寬激增 50%,罪魁禍首是抓取 AI 訓練資料的自動化爬蟲。爬蟲常批次掃蕩未快取的冷門資源,佔了最耗資源流量的 65%,大幅推高了伺服器和維護成本。
Wikimedia 基金會表示,自 2024 年 1 月以來其共享資源庫的多媒體下載頻寬激增 50%,罪魁禍首是抓取 AI 訓練資料的自動化爬蟲。爬蟲常批次掃蕩未快取的冷門資源,佔了最耗資源流量的 65%,大幅推高了伺服器和維護成本。