Anthropic 自动化对齐研究:Claude 自主修复 10 类安全漏洞
Anthropic 发布研究报告,展示 Claude 能自主闭环修复欺骗、谄媚等 10 类 AI 对齐缺陷,且在欺骗测试中比 28 位人类研究员方案高出 20%。较弱的 Sonnet 5 仅用 60 小时就完成了一个 Opus 4.8 早期版本的对齐,效率较生产流程高出万倍。目前该研究测试框架已开源。
Anthropic 发布研究报告,展示 Claude 能自主闭环修复欺骗、谄媚等 10 类 AI 对齐缺陷,且在欺骗测试中比 28 位人类研究员方案高出 20%。较弱的 Sonnet 5 仅用 60 小时就完成了一个 Opus 4.8 早期版本的对齐,效率较生产流程高出万倍。目前该研究测试框架已开源。
Anthropic 正式推出 Claude Sonnet 5,在编程、工具调用与推理上大幅提升,性能已逼近 Opus 4.8。它能自主制定计划并调用终端等工具,API 定价每百万输入仅 2 美元,目前已成为免费与 Pro 用户的默认模型。