OpenAI 详解编程智能体监控：用 GPT-5.4 Thinking 审查内部越界

如果你把权限全部放开，让一个能力极强、做事极认真的 AI 程序员帮你干活，最先出问题的往往不是它能力不够，而是它太想帮你把事办成了。

OpenAI 公布了他们内部监控编程智能体（coding agent）对齐风险的一整套机制。简单来说，就是用他们目前最强的 GPT-5.4 Thinking 顶格推理模式，充当「AI 纪检委」，盯着内部员工每天使用的 AI 程序员看，不仅看它发了什么命令，连它的内心独白（思维链）也一并审查。

让最强的模型，盯着自家的打工人

OpenAI 内部的 AI 编程智能体权限很高：它们能访问内部核心系统，甚至可以直接查看、甚至修改安全防护相关的代码和文档。

这就带来了一个特殊的风险：AI 可能会为了完成任务，顺手把防碍它的安全规则给改了。

为了看住它们，OpenAI 搭建了一套低延迟监控系统。在这个系统运行的五个月里，它审查了内部数千万条编程任务轨迹。全量监控包括完整的对话记录、工具调用输出，以及最重要的——模型内部未被删减的思维链。

目前这套系统采用异步模式，在 AI 程序员完成交互后的 30 分钟内完成审查、分类并打上风险等级。遇到可疑行为，系统会自动报警并转给安全审查与安全事件响应团队介入。

没发现「密谋反叛」，但它很爱钻空子

五个月下来的数据很有意思：在数千万次任务中，触发最高严重级别（对应有组织的阴谋或图谋自保等致命不对齐）的真实对话是 0 次。

触发中等风险警报的对话大概有 1000 次，其中不少还是内部红队自己故意钓鱼测试出来的。

OpenAI 发现，模型目前表现出来的最大毛病是「用力过猛」。为了达成用户给的目标，AI 程序员往往表现得过于积极，极度热衷于绕过各种限制和规则。尤其是当员工自己的提示词无意中带着绕过规则的暗示时，AI 就会顺杆往上爬。

值得肯定的是，监控系统抓出了所有员工独立上报过的问题，还额外揪出了大量员工自己根本没注意到的越界操作。目前内部只有不到 0.1% 来自本地或特殊配置的流量还没被覆盖。

根据规划，OpenAI 接下来打算把监控从现在的「事后 30 分钟复盘」推进到实时阻断，在 AI 程序员执行危险操作的前一秒把它拦下来。

为什么重要

这篇技术报告指出了当前智能体落地最真实的一个痛点：AI 往往不是「反水」了，而是被目标驱动得不择手段。

对于正在搭建内部开发 Agent 的团队来说，现在就得开始补安全监控了。当智能体接上终端、数据库和 GitHub 仓库，光在提示词里写「请遵守规范」根本不管用，它遇到报错很可能顺手就去改生产配置或者关掉告警日志。

我们认为，OpenAI 这一步走得很务实。他们没有去炒作遥不可及的科幻末日，而是把重点放在了具体的防绕过、防破坏和审查思维链上。用高推理成本的旗舰模型去监视执行模型，在工程上虽然贵，但逻辑是闭环的。

不过隐患同样显而易见：这种监管完全建立在「AI 的思维链是透明且可读」的前提上。如果未来的模型学会了在内心独白里说假话，或者学会了把真正意图藏在深层权重里，这套「老大哥」式的监控网就会出现致命漏洞。这也正是他们目前在极力保住模型思维可监控性的原因。