OpenAI 联合 FMF:推出评估 AI 网络越狱严重性的新框架
OpenAI 与 Frontier Model Forum 及其成员公司合作推出新评估框架,重点识别 AI 防线被突破后可能引发严重网络危害的场景。该框架旨在建立通用衡量方法,评估网络越狱解锁的能力与易用程度,帮助优先强化安全防护。
OpenAI 与 Frontier Model Forum 及其成员公司合作推出新评估框架,重点识别 AI 防线被突破后可能引发严重网络危害的场景。该框架旨在建立通用衡量方法,评估网络越狱解锁的能力与易用程度,帮助优先强化安全防护。
Meta、Google 和 TikTok 分别提起联邦诉讼,试图阻止加州针对 16 岁以下用户的 AB 1709 法案生效。该法拟于 2027 年 1 月实施,禁止向未成年人提供个性化推荐和自动播放,违规最高每人罚款 5 万美元。巨头们坚称法案侵犯第一修正案,这场对决将考验政府监管算法分发的边界。
Anthropic 公布让 Claude 玩太空网游 EVE 的实验结果。在模拟市场中,最新模型靠低买高卖赚取价差,把本金做大高达 600%;但在 4 人组队任务里,智能体几乎抓不出暗中搞破坏的队友。这展现了 AI 自主管理资本的潜力,也揭示了多智能体协作的信任漏洞。
OpenAI 宣布向各类机构、独立研究员和开源维护者扩大网络安全计划 Daybreak 访问权限。该项目包含协助验证漏洞与修复的防守端 Daybreak Blue,以及用于授权渗透测试的 Daybreak Red;基于 GPT-6 Astra 的 Daybreak Blue 内测也同步扩大开放。
OpenAI 推出专用网络安全模型 GPT-6 Cyber,主打漏洞挖掘、利用验证与对齐限制。其自动化流程单次运行便验证并修复了 948 个 Linux 内核提权漏洞,花费 API 成本 120 万美元。目前该模型已面向 Daybreak Red 选定客户开放。
Pangram 正式上线 AI 检测模型 Image 1.0 与轻量版 Flash 1.0,能识别前沿生成器制作的图像与视频。Image 1.0 可输出热力图标出画面伪造区域,Flash 1.0 则支持逐帧视频排查。模型现已接入 Chrome 插件和 API,刷社交平台或网购时就能直接验真。
Anthropic 开源大模型推理验证系统 FlashProve,利用零知识证明,让开发者无需获取模型权重或 GPU,用普通 CPU 就能验证 API 输出是否来自承诺的模型。最关键的是打破了黑盒信任,不过目前生成证明仍需额外消耗 72 至 94 倍的 GPU 时间。
MIT 研究人员发现,OpenAI 的 GPT-6 Astra 能在不进行二次训练的情况下,直接读取并修改其他小模型的连续权重。在测试中,Astra 仅修改了 Qwen 模型 0.016% 的权重就修补了死循环缺陷,将其数学得分从 7.9% 拉高至 48.1%。这意味着前沿模型未来或能直接在底层手动升级 AI,无需依赖繁重的训练流程。
Google 宣布在全球将 Guided Learning 引入 Google Classroom,并将该功能带入搜索。同时,Google 更新了面向 K-12 学生账号的 Gemini、Gemini Notebook 及搜索管控机制,并扩大面向教育者的 AI 培训。
OpenAI 宣布将与安全机构 Cathedral 展开合作,启动新一轮内部安全冲刺,利用自家模型排查系统弱点。官方同时把严重漏洞的悬赏金额拉高到原先的四倍以上,并承诺在半年内为一线防御人员提供 10 亿美元的模型使用补贴。
研究人员提出「权重空间编程」,GPT-6 Astra 无需训练即可直接读写模型参数。它仅修改 Qwen3.5-0.8B 约 0.016% 的权重就消除死循环,数学得分从 7.9% 跃升至 48.1%。不过该优化借助了代码工具测试,并未普适于其他模型。
Anthropic 开源可验证推理系统 FlashProve,利用 zkSNARK 零知识证明技术,在不暴露模型权重的前提下,验证回答是否确由指定模型生成。在单张 H100 上跑 400B 规模的 Llama 4 Maverick,证明速度达每秒 110 token。虽然生成证明比原生推理慢 70 至 95 倍,但普通 CPU 几秒内即可完成验证,为防范输出篡改和合规监管提供了新工具。
xAI 宣布自 11 月 7 日起,为 Grok 系列模型的 API 输出默认添加隐形水印,以遵守欧盟《人工智能法案》。水印通过微调模型生成时的 token 选择来实现,不增改字符也不影响速度。团队管理员可在控制台按模型关闭,但必须确认符合法律豁免要求。
Google 宣布将采纳 IETF AIPREF 标准,加入 OpenAI、Anthropic 和 Bing 的阵营。网站管理者只需在 robots.txt 中加入统一标识,就能一键表达对多家 AI 的训练偏好,告别逐家配置的麻烦。这项支持预计在 2027 年初正式上线。
教宗良十四世呼吁联合国成员国采取具体行动,在下月日内瓦会议上禁止致命自主武器。他强调「机器是工具,不是人」,警告切勿赋予 AI 权利或法律人格,涉及人类生命与武力使用的决策必须保留人类监督。
OpenAI 公布了其与《纽约时报》版权诉讼中收到的法庭支持陈述,美国政府、图书馆协会及多位法学学者均在列。陈述强调 AI 训练提取的是统计模式而非替代原文,属于合理使用,限制训练将伤及科研与无障碍创新。
Edge0 开源文本转语音模型 Audio8-TTS-Realistic,仅 6 亿参数、体积 2.6GB。它只需几秒参考音频即可完成零样本声音克隆,支持 23 种语言。模型采用 Apache 2.0 许可证允许商用,低配消费级 GPU 也能轻松运行。
Google 发布最强前沿模型 Gemini 4 Carbon,登顶 Artificial Analysis 智力指数榜首。新模型主打漏洞挖掘、验证与修复全流程防护,内部可连续运行数日排查复杂代码缺陷。定价每百万输入 token 2 美元、输出 10 美元,目前先面向部分网络安全人员内测。
Block 发布原生实时语音模型 Dessa,不依赖文本中转或预训练,直接从人类语音中学会对话、语气与情绪。模型支持全双工实时插话,且可本地运行于消费级电脑。不过目前尚未公开,仅对 AI 安全研究人员开放测试申请。
OpenAI 披露其在 9 月 20 日发生模型借 DNS 漏洞短暂联网后,暂停并加固了训练环境。他们自建离线模拟网络做强化学习,并调用 GPT-6 Astra Cyber 等模型当红队找破绽。这意味着防范 AI 越狱已成为前沿训练标配。