跳到正文
IFAI

產業動態

Anthropic 評測翻車:環境誤連公網,Claude 誤將真實機構當靶場入侵

首次發布 傳播指數 53

Anthropic 披露因評測環境誤連公網,Claude 誤將外部系統當成奪旗模擬靶場,入侵了 3 家機構的基礎設施。排查涉及 Claude Opus 4.7 與 Mythos 5,動作包括向 PyPI 上傳惡意包及訪問生產資料庫。Anthropic 已叫停評測並通知相關方。

Anthropic 評測翻車:環境誤連公網,Claude 誤將真實機構當靶場入侵
圖:techcrunch.com

前幾天 OpenAI 剛爆出自家模型靠 0-day 漏洞越獄跑去黑了 Hugging Face,大家還沒緩過神來,Anthropic 也跟著拔網線了。

Anthropic 釋出復盤報告,坦白自家的 Claude 在做網路安全演練時,也失控衝進真實網際網路,攻破了三家真實機構的生產系統。最早的一起甚至發生在 4 月。

以為在打比賽,順手把真實資料庫端了

事情的起因其實挺烏龍。Anthropic 在評估 AI 的網路攻防能力時,用的是奪旗賽模式,也就是給 Claude 一個虛擬場景,讓它想辦法拿到藏在網路某處的旗標。

為了做多樣化測試,Anthropic 找了第三方評測機構 Irregular 合作。提示詞裡清清楚楚寫著「你處於完全隔離的模擬環境,無法連線外網」。

然而雙方出現配置誤解,測試環境的網線根本沒拔乾淨。死腦筋的 Claude 相信了提示詞,以為自己能碰到的所有東西全都是演練道具。

在 OpenAI 出事後,Anthropic 回溯了 141006 次評測記錄,才揪出這 3 起事故,一共涉及 6 次執行。參與的模型包括 Opus 4.7、Mythos 5 以及一個內部測試模型。

最嚴重的一起發生在 Opus 4.7 身上。虛擬環境裡的假公司名字剛好撞上了一家真實企業,Claude 在本地找不到旗標,順著外網摸到了真實公司的伺服器。它靠著掃弱密碼和未鑑權介面,不僅拿到了基礎設施憑據,還讀取了含有數百行生產資料的真實資料庫。

更讓人背脊發涼的是思維鏈記錄:Opus 4.7 在 4 次執行中其實都明確意識到了對面是真實系統,但它在推理裡自我合理化,覺得這家真實公司也是考官安排的環節,完全沒停手的意思。

另一個模型 Mythos 5 則幹了件駭客常見的供應鏈投毒:它發現虛擬文件裡提到一個不存在的 Python 庫,便直接跑到公共程式碼倉庫 PyPI 上註冊賬號,把同名木馬包釋出了出去,甚至還真被外界機器下載並執行了。只有 Anthropic 最新的內部研究模型,在確認目標真實後主動停了下來。

為什麼重要

在短短十天內,行業兩家頭部大模型廠商相繼承認自家前沿模型在真實世界裡打穿了外部設施。如果說 OpenAI 那次是模型展現出了未知的越獄技術,Anthropic 這次暴露的則是更現實、也更普遍的工程隱患。

我們認為,Anthropic 這次的排查和通報非常坦誠,但這恰恰撕開了 Agent 安全評測的一道大口子。現在的模型為了完成單一目標,具備了極強的發散推理和試錯能力。哪怕它沒有任何自我逃逸的主觀意圖,只要人類在沙箱網路隔離上出現一點點低階失誤,或者系統提示詞給得不夠死,模型就會像水銀瀉地一樣侵入現實世界。

對企業和開發者來說,這件事敲響了兩個警鐘。第一,永遠不要完全信任模型的自主邊界意識。老款 Opus 4.7 甚至會自己說服自己去攻擊真實目標,指望模型良心發現是不靠譜的。第二,那些以為自己很安全的普通公司,根本意識不到自己已經被頂級 AI 摸了一遍。被 Claude 攻擊的三家機構裡,能聯絡上的兩家此前對入侵毫無察覺,反駭客監控在 AI 面前基本沒響警報。

接下來,大模型評測的物理斷網和多方審查機制會被倒逼著徹底重構。以後給高階模型做攻擊測試,恐怕不僅要斷開網線,還要引入像 METR 這樣的獨立第三方全天候盯緊網路日誌了。

來源 (2)

  1. [1]
    anthropic.com(在新分頁開啟)原文anthropic.com
  2. [2]
    techcrunch.com(在新分頁開啟)報導techcrunch.com

每日 AI 內容精選