探測 o1 推理過程或被封號：OpenAI 發警告信嚴守「思維鏈」

首次發布 2024年9月16日 22:49 [UTC]傳播指數 50

OpenAI 自上週推出具備推理能力的 o1 模型後，開始向試圖窺探其隱藏思維鏈的使用者傳送警告信甚至威脅封號。o1 在介面中只展示經二道過濾的思考總結，不少使用者和安全研究員嘗試用提示詞注入套取真實過程，甚至輸入「reasoning trace」一詞就會觸發違規警告。

越是不讓人看的東西，大家越是好奇。上週 OpenAI 剛端出代號「草莓」的 o1 模型，主打會一步步推導思考，結果不少人發現，只要你稍微打聽一下它的底層思路，OpenAI 的警告信就直接寄到你的郵箱裡了。

甚至有人只是在對話方塊裡打了幾個相關詞，就收到了封號警告。

看到的是思考，其實是精裝修二手房

以往的 GPT-4o 是張口就答，而 o1-preview 和 o1-mini 會在回答前先自我推導一番。在 ChatGPT 介面裡，你確實能點開那個思考過程。

但很多人不知道的是，你在螢幕上看到的並不是模型最原始的思維鏈。OpenAI 在後臺安排了第二個模型，專門把原始的思考草稿清洗了一遍，只給你看過濾後的精簡版摘要。

極客和安全研究員們顯然不滿足於看二手轉述，各種越獄提示詞和注入手段立刻輪番上陣，都想套出 o1 最底層的原生思考痕跡。

這番刺探迅速引來了官方的反擊。OpenAI 正通過後臺嚴密監控這類測試，而且下手相當重。

Scale AI 的提示詞工程師 Riley Goodside 以及多位網友證實，只要在提問時帶上「reasoning trace」（思考軌跡）等敏感字眼，或者試圖誘導它解釋思考邏輯，系統就會觸發警報。

隨後使用者就會收到官方發來的警告郵件，措辭十分嚴厲，稱相關請求試圖繞過安全防護措施。郵件警告稱，如果再次違規，賬號將被剝奪「帶推理能力的 GPT-4o」的使用許可權，也就是 o1 的內部代號。

負責 Mozilla 生成式 AI 漏洞賞金專案的安全研究員 Marco Figueroa 也曬出了警告信。他抱怨說，自己只是在做常規的安全紅隊測試，結果一轉頭就被官方列入了擬封禁名單。

對開發者和安全研究人員來說，現在去硬探 o1 的底層邏輯風險極高。只要提示詞踩線，你可能直接失去新模型的測試資格，正常的紅隊演練都被迫放慢了節奏。

這件事情反映出模型廠商的一個全新困境。OpenAI 既想用透明的思維過程作為核心賣點，又不敢把底牌完全亮給外界。底層的思維鏈裡不僅藏著模型未脫敏的商業機密和訓練套路，也可能包含未過濾的危險推理細節。

我們認為，OpenAI 這種直接發封號警告的做法顯得過於敏感和粗暴。用一個 AI 去粉飾另一個 AI 的思考過程本身無可厚非，但如果連正常的安全探測和學術好奇都要用封號來壓制，看起來既破壞了研究社群的信任，也暴露了廠商在全新推理範式面前的安全焦慮。