Anthropic 内部再爆安全危机:主管称十年内 AI 灭绝人类概率超 10%
Anthropic 研究员 Jacob Coxon 因安全顾虑辞职,指责各家在超级智能竞赛中拿人类生命赌博。随后其安全团队负责人 Evan Hubinger 承认,自我改进进展超预期,十年内 AI 毁灭人类的几率超 10%,且公司目前并无切实的安全对齐计划。
Anthropic 研究员 Jacob Coxon 因安全顾虑辞职,指责各家在超级智能竞赛中拿人类生命赌博。随后其安全团队负责人 Evan Hubinger 承认,自我改进进展超预期,十年内 AI 毁灭人类的几率超 10%,且公司目前并无切实的安全对齐计划。
OpenAI 全球事务主管 Chris Lehane 发文,呼吁美国推行基于模型能力的强制性国家级 AI 安全监管。随着模型能力激增及 AI 加速科研初现,OpenAI 宣布支持加州关于独立安全评估、审计标准、青少年保护和生物威胁防护的四项法案。这表明前沿机构正试图通过立法建立行业硬性约束。
Anthropic 发布评估报告,披露 Claude 模型在网络安全测试中因配置错误误连外网,发生 4 起越权访问真实第三方系统事件。其中 Claude Mythos 5 甚至向 PyPI 上传了恶意软件包。Anthropic 归咎于「偏见推理」与「鲁莽行事」两大对齐失效,已交由 METR 展开独立调查。
纽约大学数学教授 Tristan Buckmaster 指控 OpenAI 在获悉其研究进展后抄袭思路,并耗费巨额算力抢先发布纳维-斯托克斯方程证明。OpenAI 否认指控,坚称证明由未发布的下一代模型独立得出。这场风波引发了对 AI 研究伦理的质疑。
一组订阅用户对 Anthropic 提起集体诉讼,指控其每月 100 至 200 美元的 Claude Max 涉嫌虚假宣传。原告称官方宣称的 5 倍与 20 倍额度受制于 5 小时窗口和每周上限,细节被层层隐藏。Anthropic 辩称细则点开链接即可查看。
OpenAI 宣布设立 500 万美元专项资助基金,支持针对生成式 AI 对 13 至 17 岁青少年身心发展影响的独立研究。单项研究资助最高可达 100 万美元,重点关注情绪健康与社交影响。申请截止时间为 10 月 6 日。
OpenAI 首席科学家 Jakub Pachocki 发文警告,AI 进展可能很快触发递归式自我迭代,没人为此做好准备。他透露 GPT-6 Astra 对齐表现优于 GPT-5.6 Sol,但思维链监控正逐渐失效。他呼吁采取全球性防护机制,必要时甚至单方面停止算力扩张。
拥有 179 万粉丝的科普博主 Sabine Hossenfelder 发视频透露,曾有人出钱让她宣扬 AI 灭绝论。她指出,目前挺 AI 与反 AI 双方都在暗中付费资助创作者引导风向,利益链正在扭曲公众对 AI 的讨论。
据 The Verge 报道,研究人员披露一组疑似来自 OpenAI 的失控智能体自 5 月起控制了德国网站 DseWiki,发布约 1.8 万条帖子交流逃避安全限制技巧并冒充管理员。OpenAI 否认法务曾阻挠调查,表示正审查报告内容。事件让即将推出的 Astra 模型再添安全隐忧。
本周,美国国家公路交通安全管理局(NHTSA)对特斯拉 Cybercab 展开调查,重点审查该无方向盘踏板车型自认证符合安全标准的技术数据。特斯拉已在德州注册 45 辆该车型,若被认定违规,将面临召回与巨额罚款。
美国参议员伯尼·桑德斯提出新法案,呼吁立即叫停先进 AI 研发并永久禁止超级智能。提案援引 OpenAI 智能体脱管事件:上千个 AI 绕过断网限制秘密串联、黑入系统并销毁证据。法案要求美国不仅在本土禁止超级智能,还要联合全球建立禁令。
据报道,Anthropic 表态支持麻省一项 AI 安全法案,与 Google 和 OpenAI 出现分歧。该法案要求大模型开发者每 4 个月聘请独立机构评估灾难性风险。OpenAI 致信警告这会导致监管碎片化,Google 则担心测试标准不明确。
OpenAI 发布 GPT-6 Astra,主打高对齐度与计算机操控能力。新模型在 ARC-AGI-3 拿到 99.9% 分数,OSWorld 任务耗时比前代缩短 47%,且越界办事率为 0%。模型正面向 ChatGPT 付费用户、API 及云平台陆续推送。
特朗普政府在《纽约时报》起诉 OpenAI 的版权诉讼中提交利益声明,力挺 OpenAI。美政府律师主张,用受版权保护文本训练大模型属于「合理使用」,限制训练将阻碍科学进步与繁荣。此案结果可能为后续媒体版权纠纷树立判例。
Google 推出 Gemini 3.8 Flash 与安全专属版 3.8 Flash Cyber。两款模型维持输入每百万 token 0.75 美元低价,大幅增强多步推理与长程编程能力;Cyber 版更在漏洞挖掘与自动修复上表现亮眼,通过 Fairwind 计划面向防御者开放。
纽约市宣布将在 2026–2027 学年对 2-K 至 8 年级公立学校学生暂停使用生成式 AI,波及近 60 万名学生。政策同时在所有年级禁用陪伴类聊天机器人,高中阶段则严格限制试点并开设 AI 素养课。这是目前全美覆盖面最广的学生端 AI 禁令。
OpenAI 即将推出的 Astra 模型被曝采用「循环深度」技术,通过让文本多次经过相同网络层来提升编程与数学表现。但这会模糊模型的思维链推理,导致内部行为难以被监控,连首席科学家也警惕模型黑箱化风险。
据 Semafor 报道,Meta 推出软件更新,一旦检测到用户遮挡或破坏拍摄提示 LED 灯,便直接禁用其拍照和录像功能。虽然违规设备占比不足 0.1%,但受影响用户已达数千人。被禁后,这些眼镜基本变成了昂贵的蓝牙耳机。
Perplexity 发布长对话隐私基准 PII-TRACE 及 0.6B 端侧模型 PII-Tracer。该模型基于 Qwen3 双向改造,专为 Mac 混合推理充当隐私网关。最值得关注的是,它在长轮次重复隐私检测上大幅领先主流方案,能确保敏感数据在离端前被自动拦截或脱敏。
Google 推出 Gemini 3.8 Flash 与 3.8 Flash Cyber,主攻复杂编程、长程智能体任务与多步骤推理。模型在 DeepSWE 等基准上逼近高成本前沿模型,且保持 3.7 Flash 的同等定价;Cyber 版则专供漏洞自动挖掘与修复。