跳到正文
IFAI

行业动态

OpenAI 详解外部安全测试机制:开放思维链直查与未对齐版本

首次发布 传播指数 36

OpenAI 详细公布了前沿模型的第三方安全评估体系。合作涵盖独立风险评测、方法论审查及领域专家探测三类形式,部分机构可直接查看未对齐模型与完整思维链,以防范模型伪装欺骗。这一举措旨在借助外部独立监督,消除内部自评的盲区。

OpenAI 详解外部安全测试机制:开放思维链直查与未对齐版本
图:openai.com

让大模型给自己打安全包票,总有点裁判兼运动员的味道。尤其是当模型越来越聪明,甚至学会伪装和藏拙的时候,光靠自己内部做测试显然不够让人放心。

OpenAI 披露了他们与外部第三方机构合作做安全测试的具体机制。从 GPT-4 开始,外部测试就已经介入,而在 GPT-5 和开源模型 gpt-oss 的评估中,这种合作开始深入到非常底层的细节。

扒掉护栏,甚至直接看模型的内心独白

OpenAI 把外部合作分成了三类,最核心的是针对高危能力的独立评估。

在评估生物安全、进攻性网络攻击、长期自主性和模型欺瞒时,外部团队不仅能拿到早期检查点,还能拿到未经安全对齐的裸模型。也就是说,安全护栏被直接拔掉,用来测试模型真正的能力底线。

针对 GPT-5,OpenAI 甚至向部分机构开放了思维链的直接访问权限。这主要是为了防范模型装傻或者暗中谋划,因为很多伪装行为只有深入检查模型的推理轨迹才能被发现。合作方包括做时间跨度评估的 METR,以及做病毒学能力测试的 SecureBio。

第二类是方法论审查。比如在发布开源权重模型 gpt-oss 时,OpenAI 需要评估恶意攻击者通过对抗性微调能把模型逼出多大的危害。由于这种高强度微调耗费的算力极大,外部机构很难自己跑一遍,OpenAI 就把实验方案和过程数据开放给第三方,由他们来找漏洞并提出改进意见。

第三类是领域专家探测。这不同于专门找茬突破安全防线的红队测试,而是让病毒学等领域的专家在端到端任务中实际操作。比如在测试 ChatGPT Agent 和 GPT-5 时,专家们专门测算模型究竟能给一个完全没有经验的生手提供多大实质性帮助,看看它会不会成为恶意分子的帮手。

为什么重要

我们认为,OpenAI 这次公布第三方测试机制,最聪明的地方在于把安全审查的边界往前推了一步。以前大家总觉得外部测试就是找几个人当黑客做红队测试,但现在对抗性微调和隐藏意图已经不是普通黑盒提示词能测出来的了。愿意给外部机构开放无护栏模型和思维链推理痕迹,说明他们确实意识到了模型在高级阶段的欺瞒风险有多棘手。

对开发者和企业用户来说,这至少能增加一些参考价值。以后看系统卡片里的安全声明,不再只是厂商自己的自卖自夸,还可以去翻翻 METR 或 Apollo Research 这些独立机构给出的独立报告。如果你要做高风险领域的集成,这些外部报告比官方公关稿更具参考意义。

但这里面依然存在隐患。第三方测试并不是完全独立的第三方审计,评估机构不仅要签保密协议,公开发布的内容还要经过 OpenAI 的保密和事实审查。而且对于像 gpt-oss 那样的方法论审查,由于算力和基建门槛太高,外部机构只能扮演提意见的顾问,无法真正复现最坏情况的实验。这种极度依赖被测方提供算力和数据的评估,距离真正意义上的公信力监督,看起来还有很长的一段路要走。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选