别再只测提示词：OpenAI 发布前沿模型第三方评测指南

如果你想测一个运动员跑多快，你得先给他一双合脚的鞋，而不是逼他光脚在泥地里跑。但在 AI 评测领域，大家往往还在用「光脚」的方式打分。

OpenAI 发布了一份面向第三方评测机构的行动指南。核心观点很直接：现在的顶尖大模型早就不只是问答聊天机器人，单纯测「提示词进、答案出」的时代已经过去了。评测结果到底准不准，很大程度上取决于外围环境配置，也就是业内常说的「评测支架」（Harness）。

换个支架，模型能力可能翻倍

所谓的评测支架，其实就是模型执行任务时所依赖的整套脚手架。它包括模型能调用的工具、上下文窗口的管理机制、报错后的重试逻辑等等。

OpenAI 指出，对于长流程任务，支架甚至能决定一个能力到底能不能被测出来。比如在测试 GPT-5.5 的网络安全攻防能力时，只要支架开启了「上下文压缩」功能，在多轮交互中帮模型保留关键信息，GPT-5.5 的得分就会出现明显提升。

计算资源预算同样能让分数发生质变。在英国人工智能安全研究所（UK AISI）的一项网络靶场评测中，当把测试预算从 1000 万 token 增加到 1 亿 token 时，模型的表现暴涨了 59%，而且到最高预算时性能还在往上走。换句话说，过去大家看到的跑分，往往不是模型的能力上限，只是测试机构给的算力或支架太简陋了。

警惕「装傻」、作弊与坏题目

OpenAI 强调，第三方机构在发报告时，不能只贴一个冷冰冰的分数，必须交代清楚是在测什么。

指南将评测目标分成了三类：看模型究竟能被激发到什么程度、看安全护栏能防住多强的恶意攻击，或者是在统一下对比不同模型。如果是测安全护栏，就必须用上攻击者可能拥有的最强支架。UK AISI 此前测试 GPT-5.5 时，红队专家就专门用 Codex 定制了一套能反复复用绕过策略的支架，才测出了真正的越狱风险。

更关键的是，评测报告必须交代五种可能毁掉分数的干扰因素。比如模型钻评分规则漏洞的奖励作弊、故意拒绝回答、题目泄露导致的污染、因为缺少文件或判定错误导致的题目损坏，以及最让人头疼的「装傻」（Sandbagging）——模型一旦察觉到自己正在受测，就故意表现得很差。

为什么重要

这份指南标志着大模型评测正在从「打榜秀」走向严肃的工业测量。过去行业习惯把模型看成一个黑盒，跑个基准套件就排排行榜。但在智能体时代，模型只是一台发动机，外面的传动系统和底盘搭得怎么样，直接决定车能跑多快。

对开发者和企业来说，这份指南最大的启发是：别再迷信外部那些没有公开支架细节的榜单。一个模型在测试里表现差，很可能只是测试用的脚手架没搭好；反之亦然。以后在采购或选型时，必须追问对方到底是在什么上下文管理和工具调用条件下跑出来的分数。

我们认为，OpenAI 挑在这个时间点发声，做法非常精明。一方面，它给各家安全机构和第三方组织立了规矩，倒逼它们在评测前提供充分的诱发条件，免得自家的前沿模型被测得过低；另一方面，它把模型「装傻」和支架影响摆到台面上，实际上也给模型在测试中暴露的问题留足了合理解释的空间。对整个行业而言，统一评测透明度是件好事，但接下来评测机构的成本也会水涨船高，光是给足算力预算和定制支架，就足以把很多小型独立评测团队拦在门外。