OpenAI 公佈網路安全資助成果：收到超 600 份申請，擴充套件贈送企業版

大家都在擔心駭客會用大模型寫惡意軟體、搞釣魚郵件，但防守方手裡的工具到底怎麼樣了？

OpenAI 公佈了網路安全資助計劃（Cybersecurity Grant Program）啟動一年來的進展。這項計劃自 2023 年發起以來，已經收到了超過 600 份申請，主要目的是把先進的大模型能力交給網路安全防禦方，支援學術界和產業界在 AI 與安全的交叉領域做研究。

從提示詞注入到防資料竊取

大模型自身怎麼防駭客，是這次入選專案的重點之一。

加州大學伯克利分校（UC Berkeley）David Wagner 教授的團隊正在研究對抗提示詞注入（prompt-injection）的防禦技術，試圖解決大模型最基礎也最讓人頭疼的安全隱患。

達特茅斯學院（Dartmouth）Adam Breuer 教授的實驗室則瞄準了模型資料隱私。駭客經常通過與模型互動來反推其私有訓練資料，而現有的防禦手段往往要犧牲模型的準確率或訓練速度。他們正在開發兼顧安全與效率的新技術，不用妥協模型效能就能防住資料還原攻擊。

法國安全團隊 Mithril Security 搞了一個開源方案，用基於可信平臺模組（TPM）的安全飛地，在 GPU 上安全部署大模型，即使是基礎設施管理員也看不到使用者發給 AI 的資料。他們的白皮書和程式碼已經公開發布在 GitHub 上。

讓 AI 充當全自動網安衛士

除了防禦模型本身，還有不少團隊在用大模型幫人類查漏洞、擋攻擊。

波士頓大學的 SeclaBU 團隊正在訓練大模型自動識別並修復程式碼漏洞，爭取在漏洞被駭客惡意利用之前提前打上補丁。初創公司 Coguard 則利用 AI 自動化檢測複雜的軟體與叢集網路配置錯誤，替代過去老舊的規則引擎。

加州大學聖克魯茲分校（UCSC）的研究團隊走得更遠，他們正在用基座模型設計能夠自主響應網路入侵者的自動化防禦 Agent，並測試基座模型與強化學習結合處理安全威脅的效果。麻省理工學院 CSAIL 團隊則在 CTF 奪旗賽和紅隊測試中，利用「計劃-執行-彙報」閉環來自動化決策流程。

在個人層面，獨立研究者 Gabriel Bernadett-Shapiro 打造了開源情報工作坊和 AI 安全入門工具包，為約翰斯·霍普金斯大學的學生以及國際暴行罪調查員提供免費工具與培訓。

OpenAI 透露，安全人員平時用 ChatGPT 最多的場景，其實是把生澀的日誌和專業術語翻譯成大白話、寫指令碼分析調查樣本、寫日誌解析器，以及在緊急時刻快速整理事故報告。官方此前向安全從業者免費發放了 ChatGPT Plus，接下來還將拓展到 Team 和 Enterprise 版本，首個合作伙伴是烏干達研究與教育網路（RENU）。

為什麼重要

我們認為，OpenAI 這次展示的案例非常務實。很多人以為 AI 安全就是造一個全知全能的超級防火牆，但現實裡，安全人員每天最頭疼的往往是成千上萬行看不完的日誌、隨時可能配錯的雲環境，以及修不完的程式碼漏洞。

把大模型當成一個不知疲倦的初級分析師和漏洞排查助手，是目前價效比最高的落地方式。對於普通開發者和企業安全團隊來說，利用大模型寫日誌解析正則、查配置錯誤已經完全可行，不需要等所謂完美的通用模型。

但從行業角度看，這裡也有顯而易見的隱患。大模型是一個典型的雙刃劍：你能用它自動挖漏洞並寫補丁，攻擊者也能用同樣的邏輯批次掃漏洞找利用鏈。當安全防禦越來越依賴大模型，如果伯克利團隊正在研究的提示詞注入問題沒有徹底解決，駭客完全可能通過一段精心構造的日誌反向黑掉防禦 Agent。

看起來，OpenAI 資助這個專案既是在向安全界示好，也是在為自己鋪路。隨著大模型深入各行各業，如果最基本的訓練資料洩露和提示詞越獄都防不住，企業客戶很難放心把核心資料交給它。