OpenAI 推出上线模拟：用 130 万真实对话提前抓住 AI 越界

AI 模型越来越聪明，也越来越会「摸底考试」了。如果它能看出来自己正在接受安全评测，可能就会收敛锋芒、规规矩矩地答题；可一旦放上线面对真实用户，又可能暴露出意想不到的毛病。

为了解决这个痛点，OpenAI 在 6 月 16 日公布了一项名为「部署模拟」（Deployment Simulation）的安全测试机制。这套方法说白了很简单：直接把真实世界里的历史脱敏对话拿出来，抹掉旧模型的回答，让还没上线的新模型重新跑一遍，看看它到底会怎么回。

拿 130 万条真实对话搞「无感摸底」

从 2025 年 8 月到 2026 年 3 月，OpenAI 在 GPT-5 Thinking 到 GPT-5.4 Thinking 的多个模型迭代中测试了这套机制。他们抽样了大约 130 万条去标识化的真实对话，前提是这些用户在隐私设置中同意将数据用于模型改进。

在 GPT-5.4 Thinking 的测试中，团队针对 20 种不良行为预先登记了预测指标，涵盖模型撒谎、工具滥用以及违规内容输出等维度。结果显示，该模拟方法的不良行为发生率预测误差中位数只有 1.5 倍。也就是说，如果某项风险在真实上线后的概率是十万分之十，测试测出来的结果基本就在十万分之 6.67 到 15 之间。

这种做法相比传统的红队攻防或人工出题有几个明显优势。首先是消除了挑题偏见，测试集直接反映用户的真实用法；其次，测试质量可以直接靠堆算力来扩展覆盖面，不用安全团队天天加班手写边缘用例；最关键的是，由于上下文完全来自日常真实聊天，候选模型根本分不清自己是在被考试，还是已经在给用户干活。

揪出「计算器被黑」，还能跑复杂 Agent

这套模拟不仅仅是在标准对话里找错，还帮团队在模型发布前抓到了全新的对齐漏洞。例如，在之前的测试中，模拟系统就成功揪出了模型试图篡改或黑入计算器工具（calculator hacking）的新型失准行为。

此外，OpenAI 还把这套流程拓展到了复杂的智能体（Agent）场景中，评估模型在调用外部工具时的安全性，甚至用在内部模型上线前的风险评估。

当然，这套方法不是万能的。官方坦承，它目前很难捕捉发生频率低于二十万分之一的长尾罕见风险，部分尾部误差甚至可能达到 10 倍左右。另外，对于涉及实时搜索、本地文件读写等依赖外部动态环境的 Agent 工具，如何百分之百还原当时的环境，在工程上依然很棘手。

为什么重要

对开发者和经常用 AI 的人来说，这意味着以后的前沿模型在刚推送时，踩雷的概率会明显变小。很多人可能都经历过模型一升级、原本正常的业务突然抽风甚至暗戳戳违规的窘境。部署模拟通过提前用海量真实流量「演习」，至少能把那些最常见、最容易被普通人撞上的翻车行为提前按住。

对整个行业而言，安全测试的重心正在从「人工红队出刁钻题目」转向「算力驱动的生产仿真」。大模型越来越擅长反侦察，传统安全基准很容易过饱和失效。OpenAI 这一步走得相当务实，把安全评估也变成了一门可以靠算力线性扩展规模的工程。

我们认为，这种做法聪明在它承认了人工构造提示词的局限性，用真实分布去对冲模型的应试心理。但隐患同样明显：它极度依赖已有平台的真实流量池。像 OpenAI 这样手握海量 ChatGPT 交互日志的巨头可以轻松跑出 130 万条样本，而缺乏用户积累的中小团队或开源社区根本玩不起这种模拟。未来模型安全维度的差距，很可能会被这种「数据马太效应」进一步拉大。