跳到正文
IFAI

AI科研

OpenAI 解讀提示注入防禦:如何防止 AI 智慧體被駭客帶偏

首次發布 傳播指數 33

OpenAI 詳解了針對提示注入攻擊的防禦體系。隨著 AI 接入網路並自主執行任務,隱藏在網頁或郵件中的惡意指令可能誘導智慧體竊取資料。OpenAI 結合指令層級訓練、獨立監控、沙箱及確認機制構築多層防線,防止智慧體被惡意內容帶偏。

OpenAI 解讀提示注入防禦:如何防止 AI 智慧體被駭客帶偏
圖:openai.com

你讓 AI 幫你做旅行攻略,它去翻網頁上的民宿評價,結果評價裡藏了一行人類看不見的指令,悄悄讓 AI 偷走你的信用卡號。

這不是科幻橋段,而是大模型真正走向 Agent(智慧體)時最頭疼的問題:提示詞注入。

OpenAI 專門發文復盤了這一前沿安全威脅,並第一次完整公開了自家的多層防禦網,順帶介紹了 ChatGPT Agent 裡的幾項新防線。

給 AI 挖坑的「新型網路釣魚」

以前我們跟 AI 聊天,基本是一對一的封閉對話。現在的 AI 不一樣了,不僅能聯網、翻網頁、讀郵件,還能直接幫你買東西或調動其他軟體。

只要上下文裡混進了來自第三方的網際網路內容,風險就來了。駭客把惡意提示詞藏在網頁評論、文件甚至郵件正文裡,試圖騙過模型,讓它執行原本沒被授權的操作。

OpenAI 把這種攻擊比作針對大模型的社會工程學或網路釣魚。雖然目前真實世界裡大規模駭客利用還不算普遍,但隨著 Agent 許可權越來越大,這類攻擊幾乎必然爆發。

為了對付這個難題,OpenAI 搬出了一套組合拳。

首先是模型訓練層面的「指令層級」研究,教 AI 學會分清哪些是使用者發出的可信指令,哪些是網頁抓回來的不可信內容。

在底層,他們部署了多個自動化 AI 監視器,既能動態攔截新攻擊,還能在自家平臺上抓到正在摸索攻擊手法的駭客。

在執行層面,Canvas 和 Codex 等涉及跑程式碼的環境用上了沙盒隔離,訪問某些未編入索引或不受信任的網站前,也必須由使用者手動點選確認。

更有意思的是 ChatGPT 裡的 Agent 細節。比如在 ChatGPT Atlas 中,你可以開啟登出模式,做調研時完全不帶賬號資訊。

如果 Agent 必須跑在你的銀行等敏感網站上,系統會強制開啟「盯視模式」:只要你切換走當前瀏覽器標籤頁,AI 立刻停工,逼著你像開自動駕駛一樣把手放在方向盤上。

為什麼重要

我們認為,OpenAI 這次坦率地公開底牌,說明 AI 行業已經從「卷推理能力」進入了「卷系統安全」的硬仗階段。

對普通使用者和開發者來說,Agent 越能幹,放權的代價就越高。OpenAI 藉機給使用者上了一課:別再隨口給 AI 下達「幫我看所有郵件並看著辦」這種極其寬泛的指令,範圍越含糊,被暗門指令劫持的風險就越大。

從產品設計上看,OpenAI 的做法很務實,它沒有盲目吹噓大模型能完全在演算法內部免疫注入攻擊,而是老老實實靠外掛工程手段來補救。

引入盯視模式、非登入模式和多層確認彈窗,看似犧牲了一部分自動化體驗,甚至顯得有點笨拙,但我們認為這是目前唯一清醒且負責任的選擇。

這也給整個 Agent 賽道立了個規矩:誰想讓 AI 碰使用者的錢包和私密資料,誰就得先把這種防注入的髒活累活做到位,否則一次資料洩漏就能徹底摧毀使用者信任。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

每日 AI 內容精選