OpenAI 公布网络安全资助成果：收到超 600 份申请，扩展赠送企业版

大家都在担心黑客会用大模型写恶意软件、搞钓鱼邮件，但防守方手里的工具到底怎么样了？

OpenAI 公布了网络安全资助计划（Cybersecurity Grant Program）启动一年来的进展。这项计划自 2023 年发起以来，已经收到了超过 600 份申请，主要目的是把先进的大模型能力交给网络安全防御方，支持学术界和产业界在 AI 与安全的交叉领域做研究。

从提示词注入到防数据窃取

大模型自身怎么防黑客，是这次入选项目的重点之一。

加州大学伯克利分校（UC Berkeley）David Wagner 教授的团队正在研究对抗提示词注入（prompt-injection）的防御技术，试图解决大模型最基础也最让人头疼的安全隐患。

达特茅斯学院（Dartmouth）Adam Breuer 教授的实验室则瞄准了模型数据隐私。黑客经常通过与模型交互来反推其私有训练数据，而现有的防御手段往往要牺牲模型的准确率或训练速度。他们正在开发兼顾安全与效率的新技术，不用妥协模型性能就能防住数据还原攻击。

法国安全团队 Mithril Security 搞了一个开源方案，用基于可信平台模块（TPM）的安全飞地，在 GPU 上安全部署大模型，即使是基础设施管理员也看不到用户发给 AI 的数据。他们的白皮书和代码已经公开发布在 GitHub 上。

让 AI 充当全自动网安卫士

除了防御模型本身，还有不少团队在用大模型帮人类查漏洞、挡攻击。

波士顿大学的 SeclaBU 团队正在训练大模型自动识别并修复代码漏洞，争取在漏洞被黑客恶意利用之前提前打上补丁。初创公司 Coguard 则利用 AI 自动化检测复杂的软件与集群网络配置错误，替代过去老旧的规则引擎。

加州大学圣克鲁兹分校（UCSC）的研究团队走得更远，他们正在用基座模型设计能够自主响应网络入侵者的自动化防御 Agent，并测试基座模型与强化学习结合处理安全威胁的效果。麻省理工学院 CSAIL 团队则在 CTF 夺旗赛和红队测试中，利用「计划-执行-汇报」闭环来自动化决策流程。

在个人层面，独立研究者 Gabriel Bernadett-Shapiro 打造了开源情报工作坊和 AI 安全入门工具包，为约翰斯·霍普金斯大学的学生以及国际暴行罪调查员提供免费工具与培训。

OpenAI 透露，安全人员平时用 ChatGPT 最多的场景，其实是把生涩的日志和专业术语翻译成大白话、写脚本分析调查样本、写日志解析器，以及在紧急时刻快速整理事故报告。官方此前向安全从业者免费发放了 ChatGPT Plus，接下来还将拓展到 Team 和 Enterprise 版本，首个合作伙伴是乌干达研究与教育网络（RENU）。

为什么重要

我们认为，OpenAI 这次展示的案例非常务实。很多人以为 AI 安全就是造一个全知全能的超级防火墙，但现实里，安全人员每天最头疼的往往是成千上万行看不完的日志、随时可能配错的云环境，以及修不完的代码漏洞。

把大模型当成一个不知疲倦的初级分析师和漏洞排查助手，是目前性价比最高的落地方式。对于普通开发者和企业安全团队来说，利用大模型写日志解析正则、查配置错误已经完全可行，不需要等所谓完美的通用模型。

但从行业角度看，这里也有显而易见的隐患。大模型是一个典型的双刃剑：你能用它自动挖漏洞并写补丁，攻击者也能用同样的逻辑批量扫漏洞找利用链。当安全防御越来越依赖大模型，如果伯克利团队正在研究的提示词注入问题没有彻底解决，黑客完全可能通过一段精心构造的日志反向黑掉防御 Agent。

看起来，OpenAI 资助这个项目既是在向安全界示好，也是在为自己铺路。随着大模型深入各行各业，如果最基本的训练数据泄露和提示词越狱都防不住，企业客户很难放心把核心数据交给它。