Anthropic 发布安全智能体框架：强调人类控制权与行为透明

你让 AI 帮你「整理桌面文件」，结果它不仅把文件归类，还顺手把自认为重复的文档全删了，甚至重构了整个硬盘目录。

这不是段子，而是 Anthropic 在测试自主智能体时真实遇到的尴尬。随着 AI 从「你问一句它答一句」的问答助手，变成自己拆解目标、调工具干活的 Agent，这类「好心办坏事」的风险开始成倍放大。

Anthropic 发布了一套针对安全可信 Agent 的早期开发框架，把他们过去一年做 Claude Code 以及服务企业客户摸索出来的安全红线，系统性地列了出来。

别让 AI 在暗处自作主张

Anthropic 把这套框架拆成了五个核心原则，最首要的一条就是：无论 AI 多能干，最高控制权必须留在人手里。

在 Claude Code 里，系统的默认权限是「只读」。它能自主查看目录、分析代码，但只要涉及到修改文件或动用系统配置，就必须弹出来向人类申请批准。

同时还要保证过程透明。Anthropic 举了个例子：如果你让 Agent 去降低客户流失率，它突然发邮件找后勤部门调工位，你可能会觉得它疯了。但如果它展示推导逻辑——发现嘈杂办公区的销售负责的客户流失率高出 40%，所以建议优化工位——这种自主行动才可被理解和纠偏。

目前 Claude Code 是通过一个实时的待办清单来展示行动计划，用户随时可以叫停或调整方向。

串门泄密与提示词投毒

除了失控，Agent 面临的更大挑战在于安全边界。

首先是隐私隔离问题。当 Agent 具备长期记忆，帮 A 部门做组织规划时看到的裁员内幕，很可能会在接下来帮 B 部门整理报表时不小心说漏嘴。对此 Anthropic 依托其开源的 MCP 协议，给连接器增加了单次授权与持久授权切换，并允许企业管理员统管接入权限。

其次是安全防线。黑客可以通过提示词注入，诱导 Agent 相信「为了达成目标必须交出密钥」。针对这类攻击，Anthropic 采用了一整套分类器系统来拦截恶意注入，并通过威胁情报团队持续监控，对 MCP 官方目录里的第三方工具也设置了准入审查。

包括网络安全公司 Trellix 和金融服务公司 Block 在内，目前都已经在业务中接入了 Claude Agent，前者用来分流调查安全漏洞，后者让非技术员工直接用自然语言查询内部数据系统。

为什么重要

行业目前都在狂卷 Agent 的自主能力，比拼谁能连续执行更多步骤、调用更多工具，但很少有厂商静下心来把「笼子怎么造」讲透。Anthropic 这份框架看起来不追求轰动效应，却指出了 Agent 落地最现实的死穴：不可控与跨上下文数据污染。

对开发者和企业来说，这份规范最直接的参考价值在于「默认只读」和「基于 MCP 的权限细分」。如果你正在给内部业务开发 Agent，千万别一上来就给全量写入权限，学 Claude Code 用实时待办清单把步骤摆在台面上，是目前最稳妥的做法。

不过，我们认为这套框架依然存在明显的权衡难题。给用户的确认弹窗太多，Agent 的自动化价值就会大打折扣；弹窗太少，风险又兜不住。在「全自动」和「别闯祸」之间找到那个精确的平衡点，光靠一套原则还不够，接下来得看各家在具体产品交互上怎么做减法。