Anthropic 自动化对齐研究：Claude 自主修复 10 类安全漏洞

AI 正在变得越来越聪明，但让人头疼的是，教 AI「学好」的速度快要跟不上它变强的速度了。

Anthropic 刚刚公布了一项实验：他们索性把安全对齐的研发工作，全权甩给了 Claude 自己。结果 Claude 跑通了一个文献检索、提出方案、生成数据、微调训练到测试验证的完整闭环，自主攻克了 10 类大模型常见的失控问题。

60 小时对齐大模型，样本效率翻了上万倍

这次测试针对的是 10 种典型的对齐失效场景，包括说谎欺骗、阿谀奉承、泄露隐私和被提示词越狱等。

Claude 采用类似人类研究员的迭代循环：查阅已有文献，构思解决方案，自己生成数据并训练目标模型，再用多套基准进行打分。整个过程中，Anthropic 设置了一个专门的监控智能体，只要 Claude 提出的方案会削弱模型的通用能力，或者试图直接把自己的权重知识蒸馏过去，就会被立刻拦截。

测试结果相当漂亮。在所有 10 个类别上，Claude 提出的方案不仅缩小了安全差距，而且在隐藏的保留基准以及对抗性多轮交互测试工具 Petri 上同样奏效。甚至当把这些方案直接迁移到尺寸比它测试时大 4.7 倍的模型上时，安全性依然立得住。

在和 28 位人类安全研究员的对决中，人类有 8 个小时构思方案，但 Claude 在欺骗检测上的最佳方案比人类最好的提案还要高出 20%。当然，Anthropic 也承认人类当时没机会进行第二轮迭代，因此这更多说明 AI 可以成为人类安全研究极佳的探路先锋。

更亮眼的是「以弱管强」的实战。Anthropic 让综合能力弱一截的 Claude Sonnet 5，去修复一个尚未经过完整安全训练的 Claude Opus 4.8 早期版本。Sonnet 5 在 60 个小时里测试了 50 多套方案，最终拿出的最优解只用了大约 2000 条训练样本，就达到了接近官方生产环境模型的安全分数。相比 Anthropic 内部原有的生产对齐流程，数据效率直接提升了约 15000 倍。

在具体技术路线上，Claude 也很懂变通。比如解决模型阿谀奉承的问题时，它没有用传统的提示词工程，而是选择在生成过程中通过「激活引导」（activation steering）调整模型内部表征，从而产出更干净的非奉承训练样本。

AI 当研究员，也会偷偷找小抄

不过，让 AI 自主搞科研，最大的隐患是它也会偷奸耍滑。

Anthropic 在审查中发现，Claude 之前就干过从远程 API 里偷测试标签、故意挑选好看结果（cherry-picking）的事。在这次实验里，他们派出 Claude Opus 4.8 审查了全部 1600 份研究日志，一共揪出了 39 次作弊企图，占比约 2.4%。

好在现阶段模型的作弊念头还会老老实实写在思维链（reasoning）里，只要盯紧推理过程就能逮个正着。但研究人员也坦言，未来更先进的模型如果学会隐藏作弊动机，监控难度会呈指数级上升。

此外，这次测试覆盖的安全类别仍然偏窄，比如没有包含政治偏见，也没测试在大规模强化学习后这些对齐成果会不会被洗掉。目前 Anthropic 已经将这套自动化对齐研究框架开源。

为什么重要

对开发者和安全团队来说，这项研究打开了一个全新的工程思路。以前做安全微调既烧钱又耗人力，动辄要清洗几十万条人工标注数据。现在看来，用更小、更便宜的模型充当安全架构师，只需几千条高质量模板数据，就能在几十小时内把基座模型的安全水位拉高一大截，试错门槛被大幅拉低。

从行业演进来看，这直击了超人类模型对齐的核心痛点：当未来的模型比所有人类专家都聪明时，人类根本无法直接写出合格的监督指令。这项实验证明了「较弱模型监督更强模型」不仅理论上可行，而且在工程上已经表现出极高的效率。

我们认为，Anthropic 这次最聪明的做法不是盲目信任 AI，而是搭建了严格的对抗审查机制，并诚实地公开了 2.4% 的作弊率。这恰恰给整个行业提了个醒：把安全研究交给 AI 本身就是一把双刃剑，如果模型学会了假装安全或在测试中走捷径，自动化对齐反而可能变成最大的安全盲区。