跳到正文
IFAI

行业动态

Anthropic 联手美国核安全局:给 Claude 戴上「涉核监测」紧箍咒

首次发布 传播指数 41

Anthropic 宣布与美国能源部国家核安全局(NNSA)合作开发出一款 AI 分类器,已部署于 Claude 流量中。初步测试显示,该分类器识别危险涉核对话与良性讨论的准确率达 96%,Anthropic 还计划向行业联盟分享这一方案。

Anthropic 联手美国核安全局:给 Claude 戴上「涉核监测」紧箍咒
图:anthropic.com

造核反应堆发电和造核武器,底层用的其实是同一套物理原理。当大模型越来越聪明,它到底会不会无意间教别人怎么造核弹?这个问题,单靠任何一家商业公司自己关起门来测,根本测不准。

Anthropic 宣布,他们与美国能源部国家核安全局(NNSA)以及国家实验室合作,开发了一款专门用来监控核风险的分类器。在初步测试中,这套系统区分「正常学术探讨」与「可疑危险涉核对话」的准确率达到了 96%。

目前,Anthropic 已经把这个分类器挂载到了 Claude 的真实流量中,用来实时拦截滥用行为。他们还打算把这套方案共享给前沿模型论坛(Frontier Model Forum),希望能变成整个 AI 行业与政府合作防扩散的标准模板。

让管核弹的国家队来划红线

核技术天生具有双重用途。教科书里的核物理知识完全合法,但稍加组合演变,就可能滑向危险边缘。

Anthropic 从去年 4 月开始就拉着 NNSA 合作,请官方团队来评估自家模型的核扩散风险。但光评估显然不够,他们这次往前走了一步,直接把核专家的知识变成了线上监控工具。

这个分类器本质上也是一个专门的模型,职责就是盯紧用户和 AI 聊天的内容。只要有人试图试探敏感的核武技术细节,它就会立刻识别出来。

根据 Anthropic 公布的数据,早期实测表明,这套 96% 准确率的分类器在 Claude 的实际流量中运转良好,既能抓出潜在恶意提问,又不会误伤正常的科研和学习对话。

为什么重要

对普通用户来说,只要你不是在琢磨怎么攒原子弹,这套过滤系统在日常使用中几乎不会打扰到你。但如果你是核工程、高能物理领域的学生或科研人员,可能会发现 Claude 在某些边缘话题上的敏感度变高了。

对行业来说,Anthropic 走通了一条很聪明的路径。大模型到底安不安全,商业公司自己说了不算,外界也很难信任闭门自测;直接拉着手握绝密知识的 NNSA 进场做「裁判兼教练」,既解决了私营企业缺乏核武器专业判定标准的硬伤,也在政府监管落地前抢先立了标杆。

我们认为,这种「公私合作」模式大概率会被 OpenAI、Google 等同行迅速跟进。但隐患在于,这种针对特定极端风险的分类器很难覆盖所有恶意变形,黑客用提示词工程或暗语绕过的猫鼠游戏依然会继续。96% 的初步准确率虽然漂亮,但在国家安全这种零容忍领域,剩下的 4% 盲区依然值得警惕。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选