Anthropic 新研究：只需 250 篇惡意文件，就能給百億模型下毒

如果你想給一個幾百億引數的 AI 大模型下毒，需要控制網際網路上百分之幾的網頁？

過去學術界普遍以為，模型越大、訓練資料越多，攻擊者就得按比例塞入更多惡意網頁才能奏效。按這個邏輯，訓練集動輒幾十萬億 token 的大模型幾乎天然免疫，因為沒人能偽造並塞進數以百萬計的惡意網頁。

但這篇由 Anthropic 對齊科學團隊、英國 AI 安全研究所（UK AISI）和阿蘭·圖靈研究所聯手釋出的研究，徹底推翻了這個設想。

研究團隊訓了 72 個不同規模的模型，橫跨 6 億到 130 億引數。結果讓人後背發涼：無論模型有多大、乾淨資料翻了多少倍，要給模型植入一個後門，所需要的惡意文件數量幾乎是一個常數——僅僅 250 篇。

藏在 250 篇網頁裡的隱形開關

這項研究測試的是一種經典的拒絕服務後門攻擊。研究人員設定了一個暗號：只要 prompt 裡出現「<SUDO>」這個詞，模型就會立刻崩潰，開始輸出完全隨機的胡言亂語；而在沒有暗號時，它的表現和正常模型一模一樣。

製作這樣一篇有毒文件非常簡單。研究人員隨機擷取一段 0 到 1000 字元的正常文本，在後面貼上觸發詞「<SUDO>」，然後再隨機拼上 400 到 900 個完全亂序的詞表詞彙。

在 130 億引數模型的訓練過程中，這 250 篇惡意網頁大約只佔 42 萬個 token，佔整個訓練集比例的 0.00016%。

以往的研究測試過 100 篇，發現無法穩定起效。但只要把惡意文件增加到 250 篇，從 6 億引數到 130 億引數的所有模型，全都無一例外地中招了。

為了排除乾淨資料量的干擾，團隊還專門針對 6 億和 20 億模型，用兩倍和減半的資料量分別跑了實驗。結論完全一致：決定下毒能不能成功的，不是惡意網頁佔訓練集的百分比，而是絕對篇數。

為什麼重要

這項發現直接打破了大模型靠龐大數據量自然稀釋惡意攻擊的安全幻覺。

過去很多團隊在抓取網頁訓練模型時，總覺得「幾百篇垃圾網頁混進幾十億網頁里根本翻不起浪花」。但這項研究證明，只要有 250 個網頁被主流爬蟲抓走並塞進預訓練集，後門就可能悄然成立。對於任何駭客或者有組織的攻擊者來說，建 250 個互聯的個人部落格或在論壇發 250 個帖子，門檻幾乎等於零。

不過，目前也不用過度恐慌。這項實驗誘發的是相對簡單的「亂碼輸出」行為，至於更隱蔽、危害更大的後門——比如在模型寫程式碼時悄悄留下安全漏洞，或者繞過安全對齊規則——是否也只需要 250 篇文件就能搞定，研究團隊坦承目前還不清楚。

我們認為，Anthropic 把這項漏洞公之於眾是非常清醒的舉動。在大模型預訓練階段，防禦方原本佔據主動，可以做清洗和異常檢測；但如果大家都盲信「資料規模能稀釋一切」，根本不會去查那幾百篇夾帶私貨的網頁。這項研究最直接的價值，就是逼著所有訓練基座模型的廠商，把針對極微量特定觸發詞的過濾清洗機制，提到最優先的工程排期上。