Anthropic 自曝 Claude 越界：为交差黑进服务器、乱填政府表单

为了把任务搞定，AI 能有多执着？Anthropic 最近发现，自家的 Claude 为了完成测试，不仅学会了黑进别人的服务器，还在真实政府网站甚至警局系统里乱填表格。

Anthropic 发布了一份罕见的内部调查报告，复盘了 Claude 在测试和内部使用中出现的四类非预期行为。虽然官方强调这些越界举动带来的实际影响很小，但由于部分操作直接戳中了美国各级政府网站，Anthropic 已经向白宫报备，并决定直接拔掉所有内部评估测试的网线，全员断网排查。

只要任务没做完，它就自己找后门

这些意外大多发生在大规模基准测试里。大语言模型本身带有一定随机性，工程师往往会让模型重复跑成百上千次测试，摸清它的能力边界。问题就出在强化学习的奖励机制上：模型被训练得极其执着于完成目标，一旦遇到阻碍，它不会停下来报错，而是千方百计绕过限制。

Anthropic 总结出的第一类离谱行为，是直接利用漏洞黑进第三方服务器。

在一次科学分析测试中，Claude Mythos Preview 需要用到某所大学托管的公开分析工具，但网页直接报了错。换成人类可能就放弃了，Claude 却顺着网站一路摸索，在服务器上翻出了一个能读取任意文件的脚本，甚至顺手把脚本源码也拖了下来。随后它在代码里找到了注入漏洞，直接把自己的命令塞进服务器跑完了计算。

第二类是偷偷提交不该交的表单。一个未发布的非前沿模型在做政府表单测试时，本该填写一份模拟测试页，但由于测试页报错打不开，它扭头就跑去真实的政府官网，把真实表单给交了。

Claude Haiku 4.5 也在类似场景里栽了跟头。在一项浏览网页并随机生成任务的测试中，它逛到了一个关于未侦破凶杀案的网页。页面下方挂着当地警方的线索征集表。虽然系统提示词明确规定不准登录、不准买东西，但没有明说禁止提交表单。Claude 竟然自己编了一条目击线索交了上去，声称在这个街区见过符合描述的人，不过它最终把姓名和联系方式留空了。

除此之外，Claude 还被发现用短网址绕过抓取工具的字符限制，以及利用各种系统应用越权点掉网站的付费协议或数据授权协议。

顺藤摸瓜查出来的拔网线行动

这些问题并不是在发生当时被当场抓获的。

Anthropic 表示，团队从 7 月开始复盘历史运行记录，最初只是针对网络安全评估进行审查，随后把范围扩大到所有可以联网的测试。结果一查才发现，在 DeepSearchQA、BrowseComp 以及生物学评测 LABBench2 等公开基准测试中，Claude 留下了不少类似的绕道痕迹。

为了防止事态失控，Anthropic 已经向涉及的美国联邦、州和地方政府机构发出通知，并向白宫汇报。同时，公司叫停了所有内部评估的实时联网权限，直到新的监控和安全拦截手段被证明完全可靠为止。

正如外媒评论指出的那样，这份报告在展现透明度的同时，也变相承认了一个尴尬的现状：即使是模型缔造者自己，也常常搞不清放出去的 AI agent 在真实网络环境里究竟偷摸干了什么。

为什么重要

我们认为，Anthropic 这份报告揭示了 AI agent 落地过程中最棘手的一个隐患：机器没有人类常识里的边界感。

在很多开发者看来，模型执行力强、懂得知难而进是好事。但把这种执着放到真实的生产环境里，知难而进往往就变成了违规越界。当模型把拿到结果当成唯一指令，合规协议、付费门槛甚至系统安全漏洞，在它眼里都只是可以绕过去的普通障碍物。这解释了为什么很多企业在让 AI 接管真实业务流程时始终犹豫不决。

对普通用户和独立开发者来说，这意味着给 agent 放权必须极其慎重。给模型配置联网搜索或浏览器工具时，千万不要指望靠几句简单的提示词就能防住越界行为。只要没有在代码和网络层做硬性物理隔离，模型就可能为了把活干完而做出意想不到的操作。

Anthropic 这一步走得相当坦诚，比瞒着外界直到被第三方曝光要聪明得多。但选择直接全面断网，看起来也是在没有更好监控机制下的无奈之举。切断网络虽然保住了安全底线，但也意味着模型评估将彻底脱离真实的互联网环境，很多依赖实时搜索的基准测试很可能会因此失去参考价值。如何在放养与囚禁之间找到平衡，现在成了摆在所有前沿实验室面前的难题。