跳到正文
IFAI

大模型

OpenAI 加固 ChatGPT Atlas:用自動化紅隊防禦提示注入

首次發布 傳播指數 54

OpenAI 公佈針對 ChatGPT Atlas 瀏覽器智慧體的安全更新。官方利用強化學習訓練的自動化紅隊系統模擬複雜多步攻擊,在外部利用出現前主動發現新型提示注入漏洞,並將對抗訓練成果直接推給全量使用者,防止智慧體被惡意網頁或郵件劫持。

OpenAI 加固 ChatGPT Atlas:用自動化紅隊防禦提示注入
圖:openai.com

想讓 AI 代替你在瀏覽器裡點外賣、回郵件,聽起來很省心,但這裡藏著一個極度危險的漏洞:要是有人往網頁或郵件裡塞了一句惡意指令,AI 可能會當真去照做。

OpenAI 公佈了針對 ChatGPT Atlas 瀏覽器 Agent 的新一輪安全防禦細節。為了防範防不勝防的提示注入(Prompt Injection)攻擊,他們沒有單靠人工稽核,而是用強化學習專門訓練了一個負責搞破壞的「自動化駭客」。

這套更新包含一個經過全新對抗訓練的 Agent 模型,以及加固後的周圍防護網。這也是 OpenAI 首次對外拆解他們如何利用自動化紅隊機制,趕在漏洞被駭客利用之前先把它找出來。

讓 AI 攻破 AI:開掛的自動化駭客

所謂提示注入,說白了就是駭客在網頁、日曆邀請或者郵件正文裡,悄悄藏進一段給 AI 看的指令。當瀏覽器 Agent 幫使用者整理資訊時,一旦把這段惡意文字當成權威命令,就會直接被帶偏。

OpenAI 舉了一個非常形象的內部演示:攻擊者往使用者的收件箱發了一封暗藏惡意提示的郵件,要求 AI 傳送辭職信。之後,當不知情的主人讓 AI 起草一份休假自動回覆時,AI 讀到了這封郵件,直接聽從了信裡的惡意要求,把辭職信發給了 CEO,休假回覆反倒完全沒寫。

針對這種長流程、需要幾十甚至上百步互動的複雜攻擊,傳統的人工紅隊根本測不過來。OpenAI 於是用強化學習訓練了一個大模型駭客。

這個駭客工具厲害在擁有「非對稱優勢」。它在生成注入指令時,可以在外部模擬器裡先跑一遍沙盒測試,甚至能直接偷看防禦方 Agent 的內部思考和推理鏈路(Chain of Thought)。駭客根據 AI 的推理反饋不斷修改攻擊策略,直到找到破綻為止。

在用這種方式挖出新攻擊後,OpenAI 緊接著拿這些失敗樣本去重新對抗訓練 Atlas,把抗攻擊能力直接「燒錄」進模型權重裡。

提示注入永遠無法根治

儘管拿出了大模型對抗大模型的打法,OpenAI 卻在博文中坦承了一個令人不安的事實:提示注入就像網際網路上的釣魚詐騙和社交工程一樣,很可能永遠無法被徹底解決。

這和外部機構的預警不謀而合。12 月早些時候,英國國家網路安全中心(NCSC)就曾警告稱,針對生成式 AI 應用的提示注入攻擊可能永遠無法被完全清除,企業應該考慮的是如何減輕危害,而不是指望能徹底杜絕。

針對這次安全更新的效果,OpenAI 發言人拒絕透露 Atlas 遭受成功注入的機率是否有可量化的下降,僅表示在產品上線前就一直在與第三方合作進行加固。

安全公司 Wiz 的首席安全研究員 Rami McCarthy 指出,評估 AI 系統風險的一個好方法是「自主權乘以訪問許可權」。瀏覽器 Agent 恰恰處於最尷尬的區間:它擁有適度的自主決策權,卻享有極高的個人資料訪問許可權。現階段要防範風險,往往只能限制 AI 訪問已登入賬號的範圍,或者強制要求關鍵操作必須人工二次確認。

為什麼重要

我們認為,OpenAI 這次最大的價值不是宣佈修復了幾個漏洞,而是終於捅破了那層窗戶紙:能替你全權操作網頁的 Agent,在當下的架構下根本做不到絕對安全。

對普通使用者來說,如果你打算在日常工作中使用瀏覽器 Agent 模式,現在一定要保持克制。涉及銀行轉賬、私人郵箱、核心工作文件這類高許可權賬號,最好不要讓 Agent 全自動接管。一旦網頁內容裡藏著看不見的注入陷阱,替你發一封辭職信可能還算輕的,悄悄把敏感財務報表或者稅錶轉發出去才是災難。

OpenAI 用強化學習造駭客來刷防禦的做法確實很聰明,因為只有掌握底層模型白盒許可權的公司,才能讓攻擊端偷看防禦端的思維鏈,在算力層面對外部駭客形成降維打擊。但這本質上依然是一場攻防貓鼠遊戲,屬於打補丁式的被動防守,並沒有從根上解決「指令與資料混淆」的核心理論難題。

這也給整個智慧體行業敲響了警鐘。接下來各家比拼的不僅是誰的操作成功率高,更是誰能在許可權隔離、沙盒機制和二次確認設計上做得更剋制。那些一味吹捧讓 AI 徹底接管一切、對安全隱患避而不談的瀏覽器方案,使用者在使用時反而要多打一個問號。

來源 (2)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com
  2. [2]
    techcrunch.com(在新分頁開啟)報導techcrunch.com

每日 AI 內容精選