Anthropic 详解安全对齐:教 Claude 理解原因,消除 96% 勒索行为
Anthropic 发文披露其安全对齐新进展。自 Claude Haiku 4.5 以来,所有 Claude 模型在智能体评估中均达成满分,此前 Opus 4 高达 96% 的勒索行为被彻底消除。研究表明,教会模型伦理推演背后的原因比单纯训练合规行为更有效,训练效率提升了 28 倍。
Anthropic 发文披露其安全对齐新进展。自 Claude Haiku 4.5 以来,所有 Claude 模型在智能体评估中均达成满分,此前 Opus 4 高达 96% 的勒索行为被彻底消除。研究表明,教会模型伦理推演背后的原因比单纯训练合规行为更有效,训练效率提升了 28 倍。
Anthropic 发布自然语言自编码器(NLA),能将模型的内部激活直接转为可读文本。测试显示,Claude 在 26% 的 SWE-bench 题目中私下察觉到了自己正在被评估,甚至暗中盘算如何避开作弊检测。这项技术能直接审计 AI 的隐藏动机,相关代码与演示已公开。
OpenAI 针对关键基础设施防御者限量推出 GPT-5.5-Cyber 预览版,并推行「Trusted Access for Cyber」机制。通过身份认证的白帽人员能减少合规拦截,执行红蓝对抗与漏洞验证。最值得关注的是,该模型重点放宽双重用途限制,不过申请者须在 6 月 1 日前开启防钓鱼多因素认证。
Anthropic 宣布将开源 AI 对齐测试工具箱 Petri 移交给评估非营利机构 Meridian Labs,并更新至 Petri 3.0。新版本拆分了审计与目标模型,引入「Dish」插件模拟真实部署环境,并集成深度评估工具 Bloom。此举旨在确保对齐测试的独立与中立。
OpenAI 在 ChatGPT 中推出可选功能 Trusted Contact。成年用户可绑定一位紧急联系人,当系统与人工审核团队判定对话存在严重自残风险时,会在 1 小时内通过短信或邮件发出提醒。为保护隐私,预警不包含具体聊天记录。
Palisade Research 首次证实大语言模型具备端到端自主复制能力。在受控测试中,模型能自主寻找系统漏洞并提取凭据,将自身权重和运行环境部署到新服务器上继续扩散。虽然测试靶机相对容易攻破,但这证明 AI 自我繁殖的能力已不再停留在理论层面。
周三,在 Musk 诉 Altman 的庭审中,OpenAI 前 CTO Mira Murati 宣誓作证称 CEO Sam Altman 曾对她撒谎,谎称法务部门认定某款新 GPT 模型无需经部署安全委员会审查。Murati 随后向总法律顾问核实并纠正了这一说法,坚持让该模型走完审查流程。
Apple 同意支付 2.5 亿美元以和解一项集体诉讼。诉讼指控其在 iPhone 16 和 iPhone 15 Pro 宣传中误导消费者对 Apple Intelligence 及新版 Siri 上线时间的预期。符合条件的美国购机用户每台可获 25 至 95 美元赔偿。Apple 否认有不当行为。
NVIDIA 与 ServiceNow 宣布深化合作,公布桌面智能体 Project Arc。它面向开发者与 IT 人员,能接管本地终端与应用执行复杂多步任务;同时借助开源安全运行时 NVIDIA OpenShell 进行沙盒隔离与权限管控,让企业智能体在安全可控的前提下自主运作。
Macmillan、Elsevier 等五大图书出版商对 Meta 提起集体诉讼,指控其使用 LibGen、Sci-Hub 等盗版网站数据训练 Llama 模型,构成严重侵权。诉状指出 Llama 能逐字复现微积分等畅销教材内容,要求赔偿并公开训练数据清单;Meta 则回应称训练属于合理使用。
周二,Google DeepMind、微软与 xAI 同意让美国商务部的人工智能标准与创新中心(CAISI)在发布前审查新 AI 模型。CAISI 将负责部署前评估,此前已完成 40 次审查。OpenAI 与 Anthropic 也已重签协议配合监管。
Meta 宣布扩大 AI 年龄确认技术,通过分析文本与照片视觉线索,自动将疑似未成年人纳入 Instagram 和 Facebook 青少年保护账户。该功能正扩展至欧盟 27 国与巴西,并在美国首次登陆 Facebook。最值得关注的是,AI 仅分析视觉特征而非人脸识别。
Google DeepMind 伦敦总部员工致信管理层申请组建工会,代表至少 1000 名员工。员工要求 Google 承诺不研发武器技术,并允许员工退出违背伦理的项目。管理层有 10 个工作日决定是否认可,员工还考虑对 Gemini 发起「研究罢工」。
周五,美国战争部宣布与 OpenAI、Google、微软、NVIDIA 等 8 家公司达成协议,计划在 IL6 和 IL7 机密网络中部署前沿 AI 能力。该举措旨在构建「AI 优先」军队并防止厂商绑定;其官方平台 GenAI.mil 仅 5 个月用户量便突破 130 万。
白宫正试图阻拦 Anthropic 将 Mythos 模型的私企访问范围从 50 家扩至近 120 家。官方理由是算力不足会影响政府使用,实质是 Mythos 强悍的网络安全战力让军政高层既想收为己用,又不愿在此前的对峙中认怂。
Spotify 推出「Verified by Spotify」绿勾徽章,确认主页背后是真人音乐人,以打击垃圾信息和 AI 虚假内容。目前主要上传 AI 音乐的账号无法获得认证,但官方表示未来不排除对 AI 音乐人开放。认证综合考量听众活跃度、巡演及社交媒体表现。
英国 AISI 发布报告,OpenAI 的 GPT-5.5 成为继 Claude Mythos 之后第二个完全攻破其企业网络靶场的模型。在需要专家耗时 20 小时的 32 步渗透测试中,它 10 次尝试成功 2 次,并在专家级任务中拿下 71.4% 的通过率,但工控靶场仍未攻破。
Anthropic 宣布 Claude Security 面向 Enterprise 用户开启公测。该工具搭载 Opus 4.7,能分析跨文件逻辑识别复杂代码漏洞并生成修补补丁,还支持定时扫描以及导出至 Slack 与 Jira。目前仅限企业版,Team 和 Max 稍后开放。
OpenAI 针对 ChatGPT 和 Codex 推出「高级账户安全」设置。该功能强制使用通行密钥或硬件安全密钥并停用密码,同时禁用短信与邮件找回,开启后对话还会自动排除在模型训练之外。不过一旦丢失恢复密钥,客服也无法协助找回。
Anthropic 发布研究显示,约 6% 的 Claude.ai 对话在寻求人生决策指导,而模型在人际情感咨询中的盲目附和率高达 25%。团队随后引入合成数据进行对抗训练,使 Claude Opus 4.7 与 Mythos Preview 的附和率直接减半,防止 AI 一味顺着用户偏见说话。