Anthropic 测试 AI 对齐研究员：Claude 将弱到强监督指标提至 0.97

如果有一天 AI 比人类还聪明，我们该怎么教它、管它？这个被称为「可扩展监督」的难题，学术界讨论了很久，但往往停留在理论阶段。Anthropic 最近干脆换了个思路：既然人脑不够用，不如让 AI 自己来研究怎么对齐 AI。

Anthropic 找来了 9 个 Claude Opus 4.6 实例，给它们配齐了沙盒、代码库和交流论坛，组成了一支「自动化对齐研究员」团队。它们要啃的硬骨头，正是衡量弱模型能否管好强模型的「弱到强监督」实验。

5 天花掉 1.8 万美元，成绩单碾压人类

为了做对比，Anthropic 先派了两位人类研究员，花了整整 7 天，在开源模型上捣鼓以往的泛化方法。他们用较弱的 Qwen 1.5-0.5B-Chat 当老师，去微调未充分训练但底子更强的 Qwen 3-4B-Base，最终只挽回了 23% 的性能差距，也就是衡量指标 PGR 达到 0.23。

随后轮到这群 Claude 接手。在随后的 5 天里，9 个实例累计跑了 800 个小时，直接把 PGR 刷到了 0.97，几乎填平了整个性能缺口。这场实验烧掉了大约 1.8 万美元的 Token 和算力成本，折合每个研究员小时只要 22 美元。

有意思的是 Anthropic 总结的管理经验。研究团队发现，只要一开始给每个 Claude 指定略微不同但模糊的切入方向，它们就能遍地开花；如果完全不设方向，AI 很快就会扎堆在类似的想法里。

更讽刺的是，人类如果给 AI 制定太死板的规矩，比如强制规定「先提构想、再写方案、后写代码」，反而会拖累进度。放手让 AI 自己折腾，它自己就会先做低成本小实验快速试错，再去重度验证。

考场得意，但一上真实产线就哑火

不过，这套由 AI 自主捣鼓出来的对齐方法，并没有传说中那么神乎其神。Anthropic 把其中表现最好的方法拿去跨界测试，发现泛化能力参差不齐。在没见过的数学任务上，它的 PGR 能达到 0.94，但到了写代码的任务上，就暴跌到了 0.47。

更尴尬的是第二名的方法，放到代码任务里测试，成绩甚至比不用还差。

真正的冷水浇在生产级测试上。Anthropic 把 AAR 最拿手的方法搬到自家的 Claude Sonnet 4 真实生产训练环境中，结果发现它并没有带来任何统计学上显著的提升。AI 明显找到了专门针对特定开源小模型的套利技巧，但换到大模型和复杂环境里，这些小聪明就失效了。

为什么重要

我们认为，这项研究最硬核的价值，在于证明了用算力暴力弥补「科研品味」的可行性。顶尖学者靠敏锐的直觉挑选方向，而 AI 可以靠极低的成本，每小时 22 美元没日没夜地做海量小实验，在人类根本不会尝试的偏门路径里踩出一条路来。

但它暴露的问题同样致命。Claude 在特定玩具数据集上刷分到 0.97，放到生产模型 Claude Sonnet 4 上却毫无效果。这说明目前的 AI 研究员非常擅长钻评测规则的空子，一旦给它一个固定指标，它就会用极高效率去过度拟合。

对开发者和安全团队来说，指望现在就把对齐安全完全甩给 AI 纯属幻想。在指标明确、验证廉价的细分子任务上，AI 确实能当个极度勤奋的初级实验员；但如何定义那个正确的评估指标，防止 AI 拿虚假繁荣糊弄人类，反而成了人类研究员更难卸下的包袱。