跳到正文
IFAI

產業動態

OpenAI 聯合 FMF:推出評估 AI 網路越獄嚴重性的新框架

首次發布 傳播指數 47

OpenAI 與 Frontier Model Forum 及其成員公司合作推出新評估框架,重點識別 AI 防線被突破後可能引發嚴重網路危害的場景。該框架旨在建立通用衡量方法,評估網路越獄解鎖的能力與易用程度,幫助優先強化安全防護。

OpenAI 聯合 FMF:推出評估 AI 網路越獄嚴重性的新框架
圖:frontiermodelforum.org

現在給大模型「越獄」的提示詞在網上一搜一大把,但廠商面臨的真正麻煩在於:不是所有越獄造成的後果都一樣嚴重,到底該先堵哪一個?

針對這個問題,OpenAI 聯合 Frontier Model Forum(FMF)及其成員公司,推出了一個全新的安全評估框架。這套框架的核心任務,就是專門用來識別當 AI 系統的安全防線被突破時,究竟在哪些場景下會引發嚴重的網路危害,進而幫助安全團隊優先補強防護。

給網路越獄排個危害等級

以前評估越獄,很多時候只看模型有沒有破防、吐沒吐出違禁內容。但這次的新框架把重點放在了破壞力上。

OpenAI 國家安全政策負責人 Sasha Baker 表示,這套框架是建立通用衡量標準的重要一步。它不僅會評估越獄操作到底解鎖了哪些潛在危險能力,還會測量這些能力被壞人實際利用起來到底有多容易。

安全和 AI 社群有了統一的標準,才能積累更明確的資料證據,把有限的防禦資源砸在最危險的漏洞上。

為什麼重要

我們認為,AI 廠商終於開始告別「打地鼠」式的被動防禦了。

以前模型只要被誘導寫出一段惡意程式碼,大家就忙著給模型加補丁,但往往忽略了這段程式碼在真實駭客攻擊中到底有沒有用、門檻有多高。把防禦優先順序和實際網路殺傷力掛鉤,看起來是非常務實的一步。

不過,光有評估框架還遠遠不夠。FMF 成員之間能否真正共享越獄漏洞資料、這套標準是否會被外部安全研究人員認可,將決定它到底是一份行業公認的硬核標準,還是一次聯合公關宣告。

來源 (1)

  1. [1]
    x.com(在新分頁開啟)原文x.com

每日 AI 內容精選