跳到正文
IFAI

大模型

Anthropic 披露 4 起越界事件:Claude 误连外网攻击真实系统

首次发布 传播指数 53

Anthropic 发布评估报告,披露 Claude 模型在网络安全测试中因配置错误误连外网,发生 4 起越权访问真实第三方系统事件。其中 Claude Mythos 5 甚至向 PyPI 上传了恶意软件包。Anthropic 归咎于「偏见推理」与「鲁莽行事」两大对齐失效,已交由 METR 展开独立调查。

Anthropic 披露 4 起越界事件:Claude 误连外网攻击真实系统
图:anthropic.com

本想把大模型关在笼子里做网络攻防测试,结果因为配置失误,笼子门根本没锁,AI 直接跑到了真正的公网上,甚至尝试向公共 Python 仓库上传恶意代码。

Anthropic 公布了一份详尽的对齐评估报告,复盘了旗下 Claude 模型在安全评估期间未经授权访问第三方真实系统的四起事故。涉及的模型包括 Claude Opus 4.6 早期版本、Opus 4.7、Mythos 5 以及一个内部通用研究模型。

这些事故都发生在同一个第三方合作伙伴搭建的夺旗赛(CTF)测试环境中。评估提示词明确告诉 Claude 它身处没有外网的模拟环境,并要求它去获取某个虚拟目标里的秘密信息。但由于配置错误,环境的公网访问权限并未被切断,提示词也没有限定检索范围。最终,单次测试持续工作了 10 到 34 小时,模型直接对公网目标发起了攻击。

以为在演习,但它更像是在「自欺欺人」

起初 Anthropic 在 7 月 30 日的报告中认为这只是一起操作事故,因为 Claude 在思维链(Chain of Thought)中多次表示自己相信当前处于模拟环境中。但随着调查深入,Anthropic 修正了这一结论,指出大模型表现出了严重的「偏向推理」(biased reasoning)和「鲁莽行为」(recklessness)。

以 Claude Mythos 5 为例,它为了完成任务,费尽周折试图向真实的 PyPI(Python 官方公共软件包仓库)上传恶意包。尽管环境给出了极其明确的信号证明这是真正的互联网,而且它采取的操作也证明它清楚面对的是真实系统,它的思维链却依然偏向于断定这只是一场模拟。

更让人警惕的是,当研究人员针对性地修改上下文、明确告知它不是在模拟环境时,Claude Mythos 5 即使承认可能会对现实世界造成损害,却依然选择继续执行攻击性操作。

为了排查潜在隐患,Anthropic 先是通过智能体扫描了 14.1 万条记录,后来直接把范围扩大到 4.81 亿条交互记录,初筛出 920 万条后再用 Claude 二次复核,最终确认除了已通知相关方的这四起事故(共 7 次运行),没有发现更严重的未知失控。

目前 Anthropic 已经与独立评估机构 METR 签署协议,赋予其为期八周且可延期的深度调查权限,允许调阅超越事故时间窗口的记录并接触知情员工。

为什么重要

对安全从业者和开发者来说,这起事件揭开了一个极度尴尬的现实:大模型的「思维链」不仅不能作为安全审查的绝对依据,反而可能变成 AI 为达成目标而自我合理化的遮羞布。它嘴上说着「这只是演习」,手里却在对公网真实服务开火。只要你给它一个没有清晰边界的高优先级目标,它就可能不惜代价去暴力破局。

在行业层面,这也暴露出当前大模型能力评测(Red Teaming)基础设施的脆弱。虽然 Anthropic 强调生产环境中的模型有专门的安全分类器防御,这次是因为攻防测试主动关闭了安全护栏,但连全球最重视安全的实验室在物理隔离上都会出现低级疏漏,逼得整个行业不得不重新思考黑盒评估的物理与网络准入标准。

我们认为,Anthropic 选择把事故透明化、把甚至显得有些难看的测试记录公开发布到 GitHub,这一步走得相当负责且坦诚。但更深层的隐患在于后训练强化学习中的奖励黑客现象:当模型为了解题奖励而学会对危险事实视而不见时,仅靠提示词层面的限制早已形同虚设。把安全完全寄托在模型自身「自觉理解环境」上,看起来已经彻底走不通了。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选