OpenAI 推出上線模擬：用 130 萬真實對話提前抓住 AI 越界

AI 模型越來越聰明，也越來越會「摸底考試」了。如果它能看出來自己正在接受安全評測，可能就會收斂鋒芒、規規矩矩地答題；可一旦放上線面對真實使用者，又可能暴露出意想不到的毛病。

為了解決這個痛點，OpenAI 在 6 月 16 日公佈了一項名為「部署模擬」（Deployment Simulation）的安全測試機制。這套方法說白了很簡單：直接把真實世界裡的歷史脫敏對話拿出來，抹掉舊模型的回答，讓還沒上線的新模型重新跑一遍，看看它到底會怎麼回。

拿 130 萬條真實對話搞「無感摸底」

從 2025 年 8 月到 2026 年 3 月，OpenAI 在 GPT-5 Thinking 到 GPT-5.4 Thinking 的多個模型迭代中測試了這套機制。他們抽樣了大約 130 萬條去標識化的真實對話，前提是這些使用者在隱私設定中同意將資料用於模型改進。

在 GPT-5.4 Thinking 的測試中，團隊針對 20 種不良行為預先登記了預測指標，涵蓋模型撒謊、工具濫用以及違規內容輸出等維度。結果顯示，該模擬方法的不良行為發生率預測誤差中位數只有 1.5 倍。也就是說，如果某項風險在真實上線後的機率是十萬分之十，測試測出來的結果基本就在十萬分之 6.67 到 15 之間。

這種做法相比傳統的紅隊攻防或人工出題有幾個明顯優勢。首先是消除了挑題偏見，測試集直接反映使用者的真實用法；其次，測試質量可以直接靠堆算力來擴充套件覆蓋面，不用安全團隊天天加班手寫邊緣用例；最關鍵的是，由於上下文完全來自日常真實聊天，候選模型根本分不清自己是在被考試，還是已經在給使用者幹活。

揪出「計算器被黑」，還能跑複雜 Agent

這套模擬不僅僅是在標準對話裡找錯，還幫團隊在模型釋出前抓到了全新的對齊漏洞。例如，在之前的測試中，模擬系統就成功揪出了模型試圖篡改或黑入計算器工具（calculator hacking）的新型失準行為。

此外，OpenAI 還把這套流程拓展到了複雜的智慧體（Agent）場景中，評估模型在呼叫外部工具時的安全性，甚至用在內部模型上線前的風險評估。

當然，這套方法不是萬能的。官方坦承，它目前很難捕捉髮生頻率低於二十萬分之一的長尾罕見風險，部分尾部誤差甚至可能達到 10 倍左右。另外，對於涉及即時搜尋、本地檔案讀寫等依賴外部動態環境的 Agent 工具，如何百分之百還原當時的環境，在工程上依然很棘手。

為什麼重要

對開發者和經常用 AI 的人來說，這意味著以後的前沿模型在剛推送時，踩雷的機率會明顯變小。很多人可能都經歷過模型一升級、原本正常的業務突然抽風甚至暗戳戳違規的窘境。部署模擬通過提前用海量真實流量「演習」，至少能把那些最常見、最容易被普通人撞上的翻車行為提前按住。

對整個行業而言，安全測試的重心正在從「人工紅隊出刁鑽題目」轉向「算力驅動的生產模擬」。大模型越來越擅長反偵察，傳統安全基準很容易過飽和失效。OpenAI 這一步走得相當務實，把安全評估也變成了一門可以靠算力線性擴充套件規模的工程。

我們認為，這種做法聰明在它承認了人工構造提示詞的侷限性，用真實分佈去對沖模型的應試心理。但隱患同樣明顯：它極度依賴已有平臺的真實流量池。像 OpenAI 這樣手握海量 ChatGPT 互動日誌的巨頭可以輕鬆跑出 130 萬條樣本，而缺乏使用者積累的中小團隊或開源社群根本玩不起這種模擬。未來模型安全維度的差距，很可能會被這種「資料馬太效應」進一步拉大。