跳到正文
IFAI

產業動態

OpenAI 詳解外部安全測試機制:開放思維鏈直查與未對齊版本

首次發布 傳播指數 36

OpenAI 詳細公佈了前沿模型的第三方安全評估體系。合作涵蓋獨立風險評測、方法論審查及領域專家探測三類形式,部分機構可直接檢視未對齊模型與完整思維鏈,以防範模型偽裝欺騙。這一舉措旨在藉助外部獨立監督,消除內部自評的盲區。

OpenAI 詳解外部安全測試機制:開放思維鏈直查與未對齊版本
圖:openai.com

讓大模型給自己打安全包票,總有點裁判兼運動員的味道。尤其是當模型越來越聰明,甚至學會偽裝和藏拙的時候,光靠自己內部做測試顯然不夠讓人放心。

OpenAI 披露了他們與外部第三方機構合作做安全測試的具體機制。從 GPT-4 開始,外部測試就已經介入,而在 GPT-5 和開源模型 gpt-oss 的評估中,這種合作開始深入到非常底層的細節。

扒掉護欄,甚至直接看模型的內心獨白

OpenAI 把外部合作分成了三類,最核心的是針對高危能力的獨立評估。

在評估生物安全、進攻性網路攻擊、長期自主性和模型欺瞞時,外部團隊不僅能拿到早期檢查點,還能拿到未經安全對齊的裸模型。也就是說,安全護欄被直接拔掉,用來測試模型真正的能力底線。

針對 GPT-5,OpenAI 甚至向部分機構開放了思維鏈的直接訪問許可權。這主要是為了防範模型裝傻或者暗中謀劃,因為很多偽裝行為只有深入檢查模型的推理軌跡才能被發現。合作方包括做時間跨度評估的 METR,以及做病毒學能力測試的 SecureBio。

第二類是方法論審查。比如在釋出開源權重模型 gpt-oss 時,OpenAI 需要評估惡意攻擊者通過對抗性微調能把模型逼出多大的危害。由於這種高強度微調耗費的算力極大,外部機構很難自己跑一遍,OpenAI 就把實驗方案和過程資料開放給第三方,由他們來找漏洞並提出改進意見。

第三類是領域專家探測。這不同於專門找茬突破安全防線的紅隊測試,而是讓病毒學等領域的專家在端到端任務中實際操作。比如在測試 ChatGPT Agent 和 GPT-5 時,專家們專門測算模型究竟能給一個完全沒有經驗的生手提供多大實質性幫助,看看它會不會成為惡意分子的幫手。

為什麼重要

我們認為,OpenAI 這次公佈第三方測試機制,最聰明的地方在於把安全審查的邊界往前推了一步。以前大家總覺得外部測試就是找幾個人當駭客做紅隊測試,但現在對抗性微調和隱藏意圖已經不是普通黑盒提示詞能測出來的了。願意給外部機構開放無護欄模型和思維鏈推理痕跡,說明他們確實意識到了模型在高階階段的欺瞞風險有多棘手。

對開發者和企業使用者來說,這至少能增加一些參考價值。以後看系統卡片裡的安全宣告,不再只是廠商自己的自賣自誇,還可以去翻翻 METR 或 Apollo Research 這些獨立機構給出的獨立報告。如果你要做高風險領域的整合,這些外部報告比官方公關稿更具參考意義。

但這裡面依然存在隱患。第三方測試並不是完全獨立的第三方審計,評估機構不僅要籤保密協議,公開發布的內容還要經過 OpenAI 的保密和事實審查。而且對於像 gpt-oss 那樣的方法論審查,由於算力和基建門檻太高,外部機構只能扮演提意見的顧問,無法真正復現最壞情況的實驗。這種極度依賴被測方提供算力和資料的評估,距離真正意義上的公信力監督,看起來還有很長的一段路要走。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

每日 AI 內容精選