Anthropic 自動化對齊研究:Claude 自主修復 10 類安全漏洞
Anthropic 釋出研究報告,展示 Claude 能自主閉環修復欺騙、諂媚等 10 類 AI 對齊缺陷,且在欺騙測試中比 28 位人類研究員方案高出 20%。較弱的 Sonnet 5 僅用 60 小時就完成了一個 Opus 4.8 早期版本的對齊,效率較生產流程高出萬倍。目前該研究測試框架已開源。
Anthropic 釋出研究報告,展示 Claude 能自主閉環修復欺騙、諂媚等 10 類 AI 對齊缺陷,且在欺騙測試中比 28 位人類研究員方案高出 20%。較弱的 Sonnet 5 僅用 60 小時就完成了一個 Opus 4.8 早期版本的對齊,效率較生產流程高出萬倍。目前該研究測試框架已開源。
Anthropic 正式推出 Claude Sonnet 5,在程式設計、工具呼叫與推理上大幅提升,效能已逼近 Opus 4.8。它能自主制定計劃並呼叫終端等工具,API 定價每百萬輸入僅 2 美元,目前已成為免費與 Pro 使用者的預設模型。