Anthropic 披露 Claude 濫用案例:水軍當指揮官,新手手搓惡意軟體
Anthropic 公佈針對 Claude 惡意濫用的檢測與應對報告。調查發現有黑產利用 Claude 充會社交網路水軍中樞,自主決定點贊與轉評;也有技術小白借其越級編寫惡意程式碼。最值得關注的是,AI 正被當成半自主攻擊工具,降低了犯罪門檻;目前相關違規賬號已被封禁。

過去我們總以為,水軍用 AI 無非就是批次寫寫垃圾評論,哪怕再逼真,多看兩眼也能瞧出破綻。
Anthropic 公佈的一份調查報告,徹底打破了這種僥倖。在這份針對 Claude 濫用行為的調查裡,駭客已經不再把 AI 當成單純的打字機,而是把它當成了統攬全域性的操盤手。
讓 AI 決定什麼時候點贊,水軍升級成戰術指揮官
這次最讓人背脊發涼的,是一個商業化的「影響力即服務」水軍網路。
這個黑產團伙在 X 和 Facebook 上操縱著上百個機器人賬號,服務好幾個國家的商業客戶。他們給每個賬號都設定了極其細緻的政治人設,針對不同客戶的需求去推銷特定的政治敘事。
最狡猾的地方在於,他們根本不追求製造刷屏的爆款,而是要求 Claude 像真人一樣去潛伏。Claude 負責扮演指揮官的角色,即時分析真實使用者的發帖,然後做出戰術判斷:這條推文到底是該點贊、該轉發、該反駁兩句,還是直接忽略。
這批賬號就這樣不聲不響地滲透進了幾萬名真實使用者的社交網路裡。要不是 Anthropic 用上了自家的 Clio 對話聚類和層級摘要分析技術抓出異常,這種長期、溫和的輿論滲透幾乎很難被傳統演算法察覺。
幫駭客洗語言,給菜鳥裝上造木馬的輪子
除了操縱輿論,AI 還在被用來填補犯罪分子的能力短板。
在東歐的一起招聘詐騙裡,駭客把寫得極其蹩腳的英語扔給 Claude,讓它一鍵潤色成地道的母語表達,甚至偽造全套面試話術,Anthropic 把這種手法形象地稱為「語言清洗」。
還有人利用 Claude 重寫開源爬蟲指令碼,試圖整合暗網洩漏日誌去批次攻破聯網攝像頭。更典型的是一個完全沒有正規程式設計經驗的攻擊者,在 Claude 的一步步指點下,竟然把現成的簡陋工具魔改成帶有人臉識別和暗網掃描能力的木馬軟體。
雖然 Anthropic 強調後面這幾個攻擊案例並未確認在現實中得手,且涉案賬號已被全數封禁,但門檻被抹平的趨勢已經明擺在眼前。
為什麼重要
這篇報告最值得關注的,是駭客使用大模型的方式發生了一個關鍵質變:從「生成內容」變成了「委託代理決策」。
以前防範水軍,平臺主要盯著文本相似度和發帖頻率。但當 AI 開始自主判斷什麼時候該互動、什麼時候該沉默,甚至有意識地維持長期的溫吞人設,傳統的內容風控基本就要失效了。我們認為,隨著各類 Agent 架構落地,這種半自主的黑產網路只會越來越普遍,未來的輿論戰打的將是 Agent 之間的對抗。
對於普通使用者來說,這件事的警示非常具體。在社交網路上和你聊得有來有往、三觀契合的賬號,背後可能只是一個帶著特定任務的指令碼;那些在求職軟體上發來措辭考究的海外獵頭,也可能是藉著 AI 脫胎換骨的騙子。
Anthropic 肯把這些還沒完全掀起風浪的案例攤開來講,做法確實挺坦誠,也能給同行提個醒。但隱患在於,這些案例裡暴露出來的很多手法,比如修改程式碼、潤色求職信、總結文本,本質上都是完全合法的雙重用途能力。怎麼在不誤傷正常使用者的前提下把惡意意圖切掉,大模型廠商手裡的剪刀其實遠沒有想像中那麼好使。
來源 (1)
- anthropic.com(在新分頁開啟)原文anthropic.com