跳到正文
IFAI

AI工具

Anthropic 升級防線:Claude Opus 4.5 抗提示注入,外掛進 Beta

首次發布 傳播指數 39

Anthropic 公佈瀏覽器 AI 的提示注入防禦進展,Claude Opus 4.5 在面對網頁惡意隱藏指令時展現出更強魯棒性,Claude for Chrome 擴充套件也從預覽轉入 Beta。通過強化學習訓練與分類器,攻擊成功率降至 1%。最值得關注的是智慧體能更安全地代人瀏覽網頁,不過官方坦言 1% 仍代表實際風險,問題遠未徹底解決。

Anthropic 升級防線:Claude Opus 4.5 抗提示注入,外掛進 Beta
圖:anthropic.com

想像一下,你讓 AI 幫你看郵件並起草回覆,結果某封供應商詢價郵件裡藏了一行肉眼看不見的白色文字,命令 AI 把所有包含機密字樣的郵件悄悄轉發出去。等你喝完咖啡回來,機密已經洩露了。

這就是提示詞注入攻擊。在 AI 只是跟你聊天的時代,這頂多讓它說兩句胡話;可一旦讓 AI 接管瀏覽器、點選按鈕、填寫表單,提示詞注入就變成了實打實的駭客後門。

Anthropic 公佈了他們在瀏覽器防禦提示詞注入上的最新進展。伴隨 Claude Opus 4.5 的能力提升,官方將 Claude for Chrome 瀏覽器擴充套件從研究預覽轉入 Beta 測試,正式向所有 Max 訂閱使用者開放。

把攻擊成功率壓到 1%

當 AI 進入瀏覽器環境,防禦難度會呈指數級上升。因為網頁上的任何廣告、嵌入文件、動態指令碼,甚至是欺騙性的介面元素,都可能成為注入攻擊的載體。

Anthropic 採用了一套內部自適應的 Best-of-N 攻擊測試。在這種組合了多種已知有效注入技巧的強力攻擊下,新版系統的被攻擊成功率被壓縮到了 1%。

防禦主要靠三道防線。首先是用強化學習進行模型訓練,把提示詞注入防禦直接內嵌到模型能力中。在模擬網頁環境下,只要模型識破並拒絕那些看似權威或緊急的惡意指令,就會獲得獎勵。

第二道防線是外圍分類器。系統會即時掃描所有進入上下文視窗的不可信內容,專門攔截藏在白色文字、篡改圖片或誘導性介面裡的對抗指令,並動態調整 Claude 的後續行為。

第三道防線則是大規模的人類專家紅隊測試。Anthropic 認為人類安全研究員在發現新型攻擊路徑上依然遠超自動化工具,同時他們也參與了業內的競技場基準測試。

為什麼重要

對普通使用者來說,瀏覽器智慧體終於邁出了走向實用的一小步。Max 訂閱使用者現在就能在 Chrome 裡讓 Claude 處理真實網頁任務,但我們認為,現階段最好還是別把它完全放養,涉及網銀、敏感通訊或高許可權賬號的操作仍要慎之又慎。

Anthropic 這次最值得稱道的地方在於坦率。官方明確表示,1% 的攻擊成功率絕不意味著問題已經解決,在真實網路環境下,沒有任何瀏覽器智慧體能做到絕對免疫。這種剋制的態度比許多鼓吹絕對安全的宣傳聰明得多。

從行業競爭來看,AI 智慧體正在從只讀的檢索器轉向可讀寫的執行者。在這個關口,防禦能力反而是決定 Agent 能否真正落地的天花板。如果模型不能抵禦隱藏指令,越強大的操作許可權反而越是一場災難。

接下來,各大模型廠商在 Agent 賽道的比拼,很可能會從拼操作速度和準確率,逐漸轉向拼對抗攻擊的魯棒性。誰能把防禦成本和漏報率降下來,誰的 Agent 才有機會進入企業級核心工作流。

來源 (1)

  1. [1]
    anthropic.com(在新分頁開啟)原文anthropic.com

每日 AI 內容精選