跳到正文
IFAI

AI工具

Anthropic 升级防线:Claude Opus 4.5 抗提示注入,插件进 Beta

首次发布 传播指数 39

Anthropic 公布浏览器 AI 的提示注入防御进展,Claude Opus 4.5 在面对网页恶意隐藏指令时展现出更强鲁棒性,Claude for Chrome 扩展也从预览转入 Beta。通过强化学习训练与分类器,攻击成功率降至 1%。最值得关注的是智能体能更安全地代人浏览网页,不过官方坦言 1% 仍代表实际风险,问题远未彻底解决。

Anthropic 升级防线:Claude Opus 4.5 抗提示注入,插件进 Beta
图:anthropic.com

想象一下,你让 AI 帮你看邮件并起草回复,结果某封供应商询价邮件里藏了一行肉眼看不见的白色文字,命令 AI 把所有包含机密字样的邮件悄悄转发出去。等你喝完咖啡回来,机密已经泄露了。

这就是提示词注入攻击。在 AI 只是跟你聊天的时代,这顶多让它说两句胡话;可一旦让 AI 接管浏览器、点击按钮、填写表单,提示词注入就变成了实打实的黑客后门。

Anthropic 公布了他们在浏览器防御提示词注入上的最新进展。伴随 Claude Opus 4.5 的能力提升,官方将 Claude for Chrome 浏览器扩展从研究预览转入 Beta 测试,正式向所有 Max 订阅用户开放。

把攻击成功率压到 1%

当 AI 进入浏览器环境,防御难度会呈指数级上升。因为网页上的任何广告、嵌入文档、动态脚本,甚至是欺骗性的界面元素,都可能成为注入攻击的载体。

Anthropic 采用了一套内部自适应的 Best-of-N 攻击测试。在这种组合了多种已知有效注入技巧的强力攻击下,新版系统的被攻击成功率被压缩到了 1%。

防御主要靠三道防线。首先是用强化学习进行模型训练,把提示词注入防御直接内嵌到模型能力中。在模拟网页环境下,只要模型识破并拒绝那些看似权威或紧急的恶意指令,就会获得奖励。

第二道防线是外围分类器。系统会实时扫描所有进入上下文窗口的不可信内容,专门拦截藏在白色文字、篡改图片或诱导性界面里的对抗指令,并动态调整 Claude 的后续行为。

第三道防线则是大规模的人类专家红队测试。Anthropic 认为人类安全研究员在发现新型攻击路径上依然远超自动化工具,同时他们也参与了业内的竞技场基准测试。

为什么重要

对普通用户来说,浏览器智能体终于迈出了走向实用的一小步。Max 订阅用户现在就能在 Chrome 里让 Claude 处理真实网页任务,但我们认为,现阶段最好还是别把它完全放养,涉及网银、敏感通讯或高权限账号的操作仍要慎之又慎。

Anthropic 这次最值得称道的地方在于坦率。官方明确表示,1% 的攻击成功率绝不意味着问题已经解决,在真实网络环境下,没有任何浏览器智能体能做到绝对免疫。这种克制的态度比许多鼓吹绝对安全的宣传聪明得多。

从行业竞争来看,AI 智能体正在从只读的检索器转向可读写的执行者。在这个关口,防御能力反而是决定 Agent 能否真正落地的天花板。如果模型不能抵御隐藏指令,越强大的操作权限反而越是一场灾难。

接下来,各大模型厂商在 Agent 赛道的比拼,很可能会从拼操作速度和准确率,逐渐转向拼对抗攻击的鲁棒性。谁能把防御成本和漏报率降下来,谁的 Agent 才有机会进入企业级核心工作流。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选