跳到正文
IFAI

AI科研

OpenAI 解读提示注入防御:如何防止 AI 智能体被黑客带偏

首次发布 传播指数 33

OpenAI 详解了针对提示注入攻击的防御体系。随着 AI 接入网络并自主执行任务,隐藏在网页或邮件中的恶意指令可能诱导智能体窃取数据。OpenAI 结合指令层级训练、独立监控、沙箱及确认机制构筑多层防线,防止智能体被恶意内容带偏。

OpenAI 解读提示注入防御:如何防止 AI 智能体被黑客带偏
图:openai.com

你让 AI 帮你做旅行攻略,它去翻网页上的民宿评价,结果评价里藏了一行人类看不见的指令,悄悄让 AI 偷走你的信用卡号。

这不是科幻桥段,而是大模型真正走向 Agent(智能体)时最头疼的问题:提示词注入。

OpenAI 专门发文复盘了这一前沿安全威胁,并第一次完整公开了自家的多层防御网,顺带介绍了 ChatGPT Agent 里的几项新防线。

给 AI 挖坑的「新型网络钓鱼」

以前我们跟 AI 聊天,基本是一对一的封闭对话。现在的 AI 不一样了,不仅能联网、翻网页、读邮件,还能直接帮你买东西或调动其他软件。

只要上下文里混进了来自第三方的互联网内容,风险就来了。黑客把恶意提示词藏在网页评论、文档甚至邮件正文里,试图骗过模型,让它执行原本没被授权的操作。

OpenAI 把这种攻击比作针对大模型的社会工程学或网络钓鱼。虽然目前真实世界里大规模黑客利用还不算普遍,但随着 Agent 权限越来越大,这类攻击几乎必然爆发。

为了对付这个难题,OpenAI 搬出了一套组合拳。

首先是模型训练层面的「指令层级」研究,教 AI 学会分清哪些是用户发出的可信指令,哪些是网页抓回来的不可信内容。

在底层,他们部署了多个自动化 AI 监视器,既能动态拦截新攻击,还能在自家平台上抓到正在摸索攻击手法的黑客。

在执行层面,Canvas 和 Codex 等涉及跑代码的环境用上了沙盒隔离,访问某些未编入索引或不受信任的网站前,也必须由用户手动点击确认。

更有意思的是 ChatGPT 里的 Agent 细节。比如在 ChatGPT Atlas 中,你可以开启登出模式,做调研时完全不带账号信息。

如果 Agent 必须跑在你的银行等敏感网站上,系统会强制开启「盯视模式」:只要你切换走当前浏览器标签页,AI 立刻停工,逼着你像开自动驾驶一样把手放在方向盘上。

为什么重要

我们认为,OpenAI 这次坦率地公开底牌,说明 AI 行业已经从「卷推理能力」进入了「卷系统安全」的硬仗阶段。

对普通用户和开发者来说,Agent 越能干,放权的代价就越高。OpenAI 借机给用户上了一课:别再随口给 AI 下达「帮我看所有邮件并看着办」这种极其宽泛的指令,范围越含糊,被暗门指令劫持的风险就越大。

从产品设计上看,OpenAI 的做法很务实,它没有盲目吹嘘大模型能完全在算法内部免疫注入攻击,而是老老实实靠外挂工程手段来补救。

引入盯视模式、非登录模式和多层确认弹窗,看似牺牲了一部分自动化体验,甚至显得有点笨拙,但我们认为这是目前唯一清醒且负责任的选择。

这也给整个 Agent 赛道立了个规矩:谁想让 AI 碰用户的钱包和私密数据,谁就得先把这种防注入的脏活累活做到位,否则一次数据泄漏就能彻底摧毁用户信任。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选