Cloudflare 指控 Perplexity：偽裝身份硬爬明確設防的網站

你以為在自家門上貼一張「謝絕推銷」的告示就能擋住訪客，但如果對方換上假髮、借了鄰居的工牌，甚至假裝成自來水抄表員繼續敲門呢？

這正是網路基礎設施巨頭 Cloudflare 指控 AI 搜尋獨角獸 Perplexity 正在做的事。週一，Cloudflare 釋出了一項調查研究，直接點名 Perplexity 在明知網站拒絕抓取的情況下，故意隱瞞真實身份繞過攔截，強行抓取網頁資料。

換馬甲、裝 Chrome：AI 爬蟲的偽裝術

事情的起因是有不少網站站長向 Cloudflare 投訴。他們明明已經在網站根目錄的 Robots.txt 檔案裡寫得清清楚楚，指名道姓封禁 Perplexity 的官方爬蟲，但後臺日誌顯示，對方依然在源源不斷地搬運內容。

Cloudflare 隨後展開了實測。結果發現，當 Perplexity 發現自己的公開爬蟲被攔在門外時，並不會停手，而是換了一套玩法：它會隨機更換 User-Agent 標識，偽裝成執行在 macOS 上的普通 Google Chrome 瀏覽器。

不僅如此，它還會頻繁切換自治系統網路編號（ASN），也就是改變自己在公網上的網路來源標識。Cloudflare 表示，他們通過機器學習與網路訊號結合的指紋技術鎖定了這些行為，這種繞過規則的抓取每天發生在數萬個域名上，請求量高達數百萬次。

面對這記實錘指控，Perplexity 的反應相當激烈。其發言人 Jesse Dwyer 直接反唇相譏，稱 Cloudflare 的部落格文章不過是一場「產品推銷」，並表示部落格裡的截圖恰恰證明「根本沒有內容被訪問到」。隨後 Dwyer 甚至在郵件中聲稱，Cloudflare 文中指控的那個爬蟲「根本就不是我們的」。

目前 Cloudflare 已經將 Perplexity 從其官方「已驗證爬蟲」列表中除名，並上線了新的識別與攔截規則。

越界抓取成了家常便飯

對於 Perplexity 來說，這早就不是第一次捲入抓取爭議了。去年包括《連線》（Wired）在內的多家媒體就公開指責其涉嫌剽竊內容。在去年的 Disrupt 2024 大會上，Perplexity 執行長 Aravind Srinivas 被記者當面問及如何定義剽竊時，當場愣住、無法給出明確答覆。

而站在對立面的 Cloudflare，最近反抗 AI 爬蟲的姿態越來越高調。上個月，Cloudflare 剛推出一個新市場，允許網站所有者和出版商向訪問其內容的 AI 爬蟲收取費用。其執行長 Matthew Prince 曾公開發出警告，直言 AI 正在破壞網際網路原有的商業模式，尤其是對內容出版商造成了巨大沖擊。

更早之前，Cloudflare 還推出過免費工具，幫網站阻斷那些抓取網頁用來訓練 AI 的未授權爬蟲。

為什麼重要

對普通使用者和依賴 Perplexity 查資料的人來說，這起衝突揭開了一個有點尷尬的現實：你日常享受的秒級精確檢索和即時信源彙總，很大程度上依賴於這些平臺在灰色地帶踩油門。如果網站全面封死抓取，或者把內容鎖進付費牆，你搜到的答案質量很快就會下滑。

我們認為，Perplexity 這次被抓現行的做法相當危險。改頭換面偽裝成 Chrome 瀏覽器去撞門，本質上已經破壞了網際網路長期賴以運轉的君子協定。Robots.txt 固然只是一份沒有法律強制力的文本協議，但一旦頭部 AI 公司公然帶頭把它踩在腳下，內容創作者和出版方對 AI 行業的信任就會徹底歸零。

從行業競爭來看，這給 Cloudflare 這樣的基建廠商送上了最好的商業武器。Cloudflare 上個月剛做了讓站長向 AI 爬蟲收費的市場，轉頭就拿出 Perplexity 強闖民宅的證據，順理成章地把自己塑造成內容創作者的保護傘。

看起來，依靠單方面抓取來維持資訊供給的紅利期正在加速見頂。接下來，無論是 Perplexity 還是其他 AI 搜尋產品，要麼老老實實坐下來跟出版商談授權分成，要麼就得面對越來越高、識別越來越精準的反爬防火牆。繼續玩貓鼠遊戲，代價只會越來越沉重。