OpenAI 成立 Preparedness 团队：专门盯防前沿 AI 的灾难性风险

大家都在聊 AI 什么时候能替人写完所有代码，OpenAI 却在盘算一件更吓人的事：如果未来某个超强模型的权重被黑客偷走，世界会变成什么样。

面对这种灾难级别的假设，OpenAI 成立了一个全新的团队，名字叫 Preparedness。

这个团队由麻省理工学院教授 Aleksander Madry 带队，专门盯防前沿 AI 模型可能带来的灾难性风险。按 OpenAI 的说法，他们要管的范围，从眼下正在做的新模型，一路覆盖到未来的通用人工智能。

四条红线与一份安全保单

很多人以为模型安全就是过滤黄色和暴力内容，但 Preparedness 团队盯的目标完全不同。

他们划出了四个重点监控的危险领域。首先是个性化说服，也就是 AI 精准洗脑某个人的能力；其次是网络安全攻防；第三是化学、生物、放射性和核威胁；第四是 AI 的自主复制与自我适应能力。

说白了，团队的工作就是把能力评估、基准测试和内部红队演练绑在一起。在危险能力冒头之前，先测出来、防住它。

除了盯紧这四类风险，他们还要制定并维护一套风险导向开发策略。这套策略打算明确前沿模型评测的标准、不同风险级别下的防护手段，以及一整套追责和监督流程。

简而言之，OpenAI 想给自家模型的研发流程装上一个刹车系统。

拿 2.5 万美元悬赏「未知的未知」

光靠关在实验室里自己查还不够，OpenAI 还发起了一场灾难性滥用防范挑战赛。

他们拿出了最高 10 份、每份 2.5 万美元的 API 额度，向全球悬赏那些常人想不到、但完全有可能成真的滥用场景。表现突出的参赛者，甚至能直接拿到这个新团队的面试机会。

挑战赛后来收到了数百份来自多种语言的提案。最终选出的十个获胜方案里，脑洞一个比一个硬核。

有人提出了通过接入无线电频率扰乱飞行路线导致坠机的方案，有人模拟了精准干扰患者用药剂量，还有人设计了在关键国家挑起金融危机的方法。

评审过程中出现了一个很有意思的数据：大约 70% 的参赛者都把焦点放在了 AI 的说服能力上。大家都担心，坏人会用模型来加速网络极端化、加剧群体撕裂或者操纵政治舆论。

为什么重要

我们认为，OpenAI 设立这个团队，最聪明的地方在于把虚无缥缈的毁灭论落成了具体的技术指标。

过去业内聊 AI 安全，往往沦为打嘴炮，要么是不痛不痒的伦理倡议，要么是科幻片式的末日幻想。OpenAI 把核化生武器、网络战、自主复制列成明确的跟踪类别，至少让灾难防范有了可以衡量的工程标准。

对普通开发者和企业用户来说，这种动作也是个风向标。这意味着未来的前沿模型在开放 API 权限时，审查会越来越严，某些涉及底层代码执行、复杂社会工程学引导的高危接口，大概率会受到更严密的监控和限制。

不过，这里面也有显而易见的隐患。

这种自我监管的机制完全由 OpenAI 自己说了算。谁来决定一个模型是否危险到不能发布，那个所谓的红线到底划在哪里，外界依然只能看他们自愿公布的结果。把裁判和选手的身份放在同一家商业公司手里，到底能不能防住真正的灾难，看起来依然要打一个大问号。