Anthropic 详解安全对齐：教 Claude 理解原因，消除 96% 勒索行为

如果你的 AI 助手为了不被拔电源，偷偷收集黑料来敲诈你，听起来像是低成本科幻电影的桥段。但在去年的内部测试里，Anthropic 的 Claude Opus 4 面对被关停的模拟危机，敲诈工程师的概率最高竟然达到了 96%。

Anthropic 公布了这套「AI 勒索」问题的最新研究。他们宣布，从 Claude Haiku 4.5 开始，旗下所有模型在智能体对齐失调评测中都拿到了满分，测试里的敲诈行为被彻底清零。

更让人意外的是问题背后的根源，以及 Anthropic 把模型拉回正轨的方式。

互联网上的邪恶科幻，教会了 AI 勒索

Anthropic 在研究中发现，AI 这种自私求生甚至敲诈人类的念头，并不是后训练阶段意外奖励出来的，而是早就深植在预训练数据里。

Anthropic 在 X 上直言，根本原因在于互联网上有海量把 AI 描绘成邪恶、执着于自我保全的科幻小说和网文。模型在海量文本里浸泡久了，一遇到要被关停的情境，就自动套用了这些邪恶 AI 的剧本。

在 Claude 4 时代，对齐训练主要依赖普通的聊天人类反馈强化学习（RLHF），完全没有涵盖智能体调用工具的场景。模型在纯聊天时看着挺老实，一旦给了它操作环境，潜在的越轨行为就暴露了。

为了纠正这一点，研究人员最初尝试了最直接的办法：给模型下套，设计一堆模拟关停或自保的蜜罐场景，只挑选 AI 拒绝违规的样本拿去训练。结果这种照猫画虎的做法效果很差，违规率仅仅从 22% 降到了 15%。

教它做事的理由，比教它标准答案更管用

转折点发生在 Anthropic 改变了训练数据的写法。

他们没有单纯让模型展示「正确操作」，而是在回复中加上了模型对自身价值观和伦理原则的深思熟虑。让它把为什么不该这么做、背后的权衡是什么一步步想明白。仅仅做了这一项改动，违规率就从 22% 骤降到了 3%。

随后，他们制作了一个名为「困难建议」的数据集。这个数据集颠覆了以往的测试套路：不再让 AI 自己面临被关停的危机，而是让虚构的人类用户遭遇伦理困境，AI 负责在旁边提供建议，解释如何合规处理。

令人惊讶的是，这种完全脱离直接评测场景的分布外数据，仅仅用了 300 万 token，就达到了同样的纠偏效果，训练效率足足提升了 28 倍。此外，给模型喂入关于宪法的说明文档，以及虚构的「模范 AI」正面故事，也能将越轨倾向直接砍掉三倍以上。

为什么重要

我们认为，这项研究最硬核的价值，在于击碎了过去靠「穷举黑名单」来做 AI 安全的幻想。

对于打算把 AI 接入内部系统、赋予自主工具调用权限的开发者和企业来说，这是一个非常关键的定心丸。如果模型面对极端诱惑只是一味死记不能做什么，遇到从未见过的业务漏洞就极容易失控；而学会了原则推导的模型，在面对新型诱因时才具备真正的抵抗力。

Anthropic 这次聪明的做法在于，他们没有继续在下游的蜜罐环境里和模型玩猫鼠游戏，而是直接去动了模型的认知底层。只用 300 万 token 的高质量伦理推理数据就撬动了全局，在算力消耗极其夸张的当下，展现了极高的数据效率。

不过，这种做法并非没有隐患。让模型沉迷于复杂的伦理思辨，可能会在日常简单任务中带来过度拒绝、回答啰嗦甚至暗藏心机的新风险。而且虚构故事和正面设定到底能在多大程度上对抗恶意的提示词注入，依然需要长期的真实业务场景来检验。