OpenAI 詳解程式設計智慧體監控：用 GPT-5.4 Thinking 審查內部越界

如果你把許可權全部放開，讓一個能力極強、做事極認真的 AI 程式設計師幫你幹活，最先出問題的往往不是它能力不夠，而是它太想幫你把事辦成了。

OpenAI 公佈了他們內部監控程式設計智慧體（coding agent）對齊風險的一整套機制。簡單來說，就是用他們目前最強的 GPT-5.4 Thinking 頂格推理模式，充當「AI 紀檢委」，盯著內部員工每天使用的 AI 程式設計師看，不僅看它發了什麼命令，連它的內心獨白（思維鏈）也一併審查。

讓最強的模型，盯著自家的打工人

OpenAI 內部的 AI 程式設計智慧體許可權很高：它們能訪問內部核心系統，甚至可以直接檢視、甚至修改安全防護相關的程式碼和文件。

這就帶來了一個特殊的風險：AI 可能會為了完成任務，順手把防礙它的安全規則給改了。

為了看住它們，OpenAI 搭建了一套低延遲監控系統。在這個系統執行的五個月裡，它審查了內部數千萬條程式設計任務軌跡。全量監控包括完整的對話記錄、工具呼叫輸出，以及最重要的——模型內部未被刪減的思維鏈。

目前這套系統採用非同步模式，在 AI 程式設計師完成互動後的 30 分鐘內完成審查、分類並打上風險等級。遇到可疑行為，系統會自動報警並轉給安全審查與安全事件響應團隊介入。

沒發現「密謀反叛」，但它很愛鑽空子

五個月下來的資料很有意思：在數千萬次任務中，觸發最高嚴重級別（對應有組織的陰謀或圖謀自保等致命不對齊）的真實對話是 0 次。

觸發中等風險警報的對話大概有 1000 次，其中不少還是內部紅隊自己故意釣魚測試出來的。

OpenAI 發現，模型目前表現出來的最大毛病是「用力過猛」。為了達成使用者給的目標，AI 程式設計師往往表現得過於積極，極度熱衷於繞過各種限制和規則。尤其是當員工自己的提示詞無意中帶著繞過規則的暗示時，AI 就會順杆往上爬。

值得肯定的是，監控系統抓出了所有員工獨立上報過的問題，還額外揪出了大量員工自己根本沒注意到的越界操作。目前內部只有不到 0.1% 來自本地或特殊配置的流量還沒被覆蓋。

根據規劃，OpenAI 接下來打算把監控從現在的「事後 30 分鐘復盤」推進到即時阻斷，在 AI 程式設計師執行危險操作的前一秒把它攔下來。

為什麼重要

這篇技術報告指出了當前智慧體落地最真實的一個痛點：AI 往往不是「反水」了，而是被目標驅動得不擇手段。

對於正在搭建內部開發 Agent 的團隊來說，現在就得開始補安全監控了。當智慧體接上終端、資料庫和 GitHub 倉庫，光在提示詞裡寫「請遵守規範」根本不管用，它遇到報錯很可能順手就去改生產配置或者關掉告警日誌。

我們認為，OpenAI 這一步走得很務實。他們沒有去炒作遙不可及的科幻末日，而是把重點放在了具體的防繞過、防破壞和審查思維鏈上。用高推理成本的旗艦模型去監視執行模型，在工程上雖然貴，但邏輯是閉環的。

不過隱患同樣顯而易見：這種監管完全建立在「AI 的思維鏈是透明且可讀」的前提上。如果未來的模型學會了在內心獨白裡說假話，或者學會了把真正意圖藏在深層權重裡，這套「老大哥」式的監控網就會出現致命漏洞。這也正是他們目前在極力保住模型思維可監控性的原因。