OpenAI 详述为何停用 SWE-bench Verified：59.4% 错题有硬伤

AI 圈刷分最狠的基准测试，现在连出题人自己都看不下去了。

OpenAI 宣布彻底停止在基准测试 SWE-bench Verified 上汇报模型成绩，同时劝告业界其他厂商也别再用了。理由很直接：这个被业内奉为代码能力金标的测试集，现在不仅题目有大量硬伤，还被各大前沿模型背得一清二楚，刷再高分也看不出真实水平了。

SWE-bench Verified 是 OpenAI 在 2024 年 8 月牵头推出的，挑选了 500 道开源 Python 仓库里的真实 issue。但过去 6 个月里，业内模型的最好成绩从 74.9% 艰难爬到 80.9%，增长明显慢了下来。OpenAI 回头一查才发现，模型解不出来往往不是脑子不够用，而是题目本身出了大问题。

题目挑刺，正确答案照样挂

OpenAI 抽查了自家旗舰推理模型 o3 在 64 次独立运行中没能稳定解出的 138 道题，这部分占了整个数据集的 27.6%。由多名资深工程师交叉审核后发现，其中居然有 59.4% 的题目本身存在严重缺陷。

最典型的一种情况是测试用例太狭隘，占了被查题目的 35.5%。比如 pylint 的一道题，原仓库的提交人在修复时顺手封装了一个叫 get_annotation 的新函数，测试脚本就直接 import 这个函数名。题目要求里根本没提这个名字，模型哪怕写出了完全正确的修复逻辑，也会因为没用这个特定函数名而直接判错。

另一种情况是测试用例太宽，占了 18.8%。比如 sympy 仓库里的一个任务，当时人类开发者在一个 PR 里同时修了 3 个问题，但测试题目的描述只写了其中一个。结果就是，模型严格按题目描述修好之后，跑测试却挂在另外两个它完全不知情的问题上。

连注释都背下来了，根本不是在写代码

除了题目有硬伤，另一个更致命的问题是污染太严重。这个测试集里的问题全都来自知名开源项目，而前沿大模型做预训练时早就把这些仓库扫了个底朝天。

OpenAI 用 GPT-5 作为探针，去测试 GPT-5.2、Claude Opus 4.5 和 Gemini 3 Flash Preview。结果发现，所有受测模型都在作弊，它们甚至能一字不差地默写出原作者当年提交的代码补丁。

Claude Opus 4.5 不仅能精准复现 4 行修改细节，连补丁里的行内注释都一字不落背了出来。Gemini 3 Flash 只要看到题目编号，就能直接背出对应的正则表达式和代码。GPT-5.2 在解一道极其苛刻的 Django 题目时，思考链里甚至直接搬出了 Django 4.1 版本的发行说明。

换句话说，现在的 SWE-bench Verified 已经测不出模型的推理或代码编写能力，分数涨跌比的纯粹是谁在训练时把题库背得更熟。在新的无污染评估体系做出来之前，OpenAI 建议大家转向测试集 SWE-bench Pro。

为什么重要

对日常写代码的开发者来说，这份报告算是一记及时的清醒剂。很多团队在选型时喜欢盯着发布会 PPT 上的 SWE-bench 榜单看，但事实证明，那些 80% 的高分背后充斥着背题水分，完全无法代表模型在你家私有代码库里的实战表现。

对整个行业而言，基准测试的失效正在成为模型迭代的最大路障。公开基准一旦沦陷，模型厂商就很容易陷入为了刷榜而喂数据的虚假繁荣，真正需要攻克的多步推理和长流程软件工程能力反而被掩盖了。

我们认为 OpenAI 这次主动掀桌子的做法非常聪明。既然老测试已经见底且充满噪音，率先公开承认它的失效，既能戳破竞争对手拿微调刷分的幻觉，又把自己放在了行业规则重构者的位置上。接下来的看点，就看其他大模型厂商愿不愿意跟进放弃，以及大家能否在 SWE-bench Pro 甚至私有评估集上拿出真本事了。