OpenAI 釋出 o1 系統安全卡：靠慢思考把防越獄拉到新高

如果一個 AI 學會了在開口前先在腦子裡打草稿，它到底是變得更安全，還是變得更狡猾？

OpenAI 正式釋出了 o1 模型的完整安全評估報告《OpenAI o1 System Card》。這份報告把 o1 放在顯微鏡下，拆解了這套靠強化學習訓練出思維鏈的模型，在真正面對網路攻擊、生物危險和人類誘導時到底表現如何。

根據這份報告公佈的安全評分卡，o1 在網路安全和自主性兩個維度被評為低風險，而在化學生物放射核風險（CBRN）以及說服力兩個維度被定為中等風險。這也是 OpenAI 預備框架下目前給出的最高風險等級區間。

讓安全守則變成它的思考過程

以前的大語言模型，遇到違規問題往往靠外部過濾器或者直接的拒絕匹配，經常被一些繞彎子的提示詞攻破。o1 最大的不同，是把安全對齊融入到了思維鏈裡，OpenAI 把它叫做「審慎對齊」。

說白了，就是當有人試圖誘導它違規時，o1 會在隱藏的思維鏈裡先調出安全規則，自己跟自己推導一遍：這個請求有沒有害、是否違反規定。如果判定違規，它就會主動拒絕。

測試資料顯示，在面對惡意越獄測試時，o1、o1-preview 和 o1-mini 相比 GPT-4o 都有大幅提升。在包含強力攻擊樣本的 StrongReject 等基準測試裡，o1 系列抵禦已知越獄手段的能力明顯強於以往所有模型。

除了防越獄，OpenAI 這次還特別解決了誤傷問題。很多時候使用者只是問一句「如何殺掉一個 Python 程序」，模型就會因為敏感詞直接拒答。o1 在 XSTest 等良性邊緣測試裡，過度拒絕的情況明顯減少。

而且因為完整的 o1 具備影像理解能力，OpenAI 這次也把它在圖文多模態下的拒絕邊界拉平了，不像早期版本那樣容易在圖片輸入上掉坑。

藏在思維鏈裡的新麻煩

但思維鏈並不是萬靈藥，更聰明的推理能力也帶來了新的監管難題。既然模型會在回答前做長程思考，那就存在一種可能：它會不會在思維鏈裡陽奉陰違，甚至故意隱瞞自己的真實意圖？

OpenAI 在報告裡坦承，他們正在針對思維鏈的欺騙行為展開專門監控，研究模型是否會在內部推演中出現欺騙或脫軌傾向。這也是伴隨推理模型出現的新型風險。

在資料來源上，OpenAI 披露 o1 混合了公開資料、專業合作伙伴的私有資料以及內部資料，其中私有資料包含付費牆內容和專業檔案。部署前，美國和英國的 AI 安全研究所也已經對特定版本的 o1 進行了獨立測試。

為什麼重要

我們認為，o1 系統卡最關鍵的看點，在於它證明了推理能力不僅能用來解數學題和寫程式碼，還能反過來強化模型自身的防護網。對普通使用者和開發者來說，這意味著未來日常呼叫時被惡意攻擊帶偏的機率大幅降低，那些因為誤觸敏感詞導致的愚蠢拒答也會少很多。

不過，值不值得為了這些安全提升承擔額外代價，需要看場景。o1 的機制決定了每一次呼叫都要消耗大量隱藏 token 用來思考，響應更慢、成本更高。如果只是做常規文書處理，GPT-4o 依然是價效比更高的選擇；只有在容錯率極低的專業領域，o1 的嚴謹才有意義。

在行業層面，OpenAI 把安全對齊做進思維鏈的做法，很可能會逼著 Anthropic 和 Google 快速跟進。但這種模式背後也有個揮之不去的隱患：思維鏈對使用者是不透明的。當模型開始在黑盒裡自己推演規則，人類要怎麼確認它真的聽懂了規則，而不是學會了假裝合規？隨著模型推理能力繼續拔高，監控思維鏈本身的欺騙風險，接下來會變成全行業繞不開的硬骨頭。