OpenAI 审查 SWE-Bench Pro：约 30% 编程评测任务存在缺陷

如果一张卷子里有将近三分之一的题目，要么题干缺斤少两，要么标准答案只认一种死脑筋写法，考出来的 80 分到底还算不算数？

OpenAI 最近就给整个大模型评测圈泼了一盆冷水。他们对自己曾大力推荐的编程评测集 SWE-Bench Pro 做了一次彻底审计，结果发现，这套公开的 731 道测试任务里，大约有 30% 根本就是坏的。

由于题目漏洞太多，OpenAI 正式宣布收回此前建议行业采用 SWE-Bench Pro 的推荐，并呼吁大家重新搭建专门给 AI 考试的基准。

从 23% 到 80%：飞速涨分的卷子出问题了

之前行业最爱用的评测集是 SWE-bench Verified，但 OpenAI 查出它存在根本设计缺陷和数据污染，当时 OpenAI 曾鼓励社区转向更逼真、任务链条更长的 SWE-Bench Pro。

在 SWE-Bench Pro 的 731 个公开任务上，前沿模型的跑分确实很漂亮，通过率在短短八个月内从 23.3% 飙升到了 80.3%。

然而分数涨得太快，OpenAI 觉得事有蹊跷，于是组织了一套质检流程。他们先用自动化过滤器筛查了任务说明、模型代码和判分测试，初筛出 286 个疑似有问题的任务，随后圈定 200 到 249 个任务确实存在损坏。

为了查清这些题到底哪里坏了，OpenAI 派出了基于 Codex 的调查员智能体。这些智能体有权进入仓库环境跑测试、翻代码，排查究竟是合理的模糊还是真正的描述缺失。

与此同时，OpenAI 还找来有经验的软件工程师。每个有争议的任务都要经过五名工程师独立审查，和 AI 智能体共同对比复核。

藏在 GitHub 真实代码里的四大漏洞

审计最终把问题归结为四类常见的硬伤。

第一类是测试过于苛刻。很多单元测试强制要求某种特定实现，哪怕模型的代码在功能上完全正确，只要没按原作者的私有套路写就会被判零分。

第二类是提示词缺斤少两。题干里根本没提隐藏测试点，模型在常理下完全推导不出来。

第三类是测试覆盖率过低。这会导致一些半吊子、没写全的代码也能蒙混过关拿到满分。

第四类则是提示词误导，直接把模型往错误的方向带，甚至和测试要求相互矛盾。

OpenAI 解释说，这些任务大多直接扒自真实开源项目的 Pull Request。但开源社区的 Issue 和代码是人与人之间反复沟通妥协的结果，很多 PR 里的测试只为了验证某一次具体改动，根本不适合拿来当通用的评测标尺。

有趣的是，在复核过程中，人类工程师比 AI 智能体更严格。比如在测试覆盖率过低这一项上，人类判定存在该问题的比例是 9.4%，而智能体只查出了 4.1%。

为什么重要

对于正在挑模型、做落地的开发者来说，这件事提了一个醒：千万别迷信榜单上的高通过率。

很多开发者按着榜单买 API，结果放到自己业务里发现 AI 写代码依然经常卡壳。原因就在于评测集里有大量水分，高分可能是模型撞大运绕过了低覆盖测试，也可能是把坏题的死记硬背当成了真本事。

对整个 AI 行业而言，这说明大模型评测已经到了必须推倒重来的关口。光靠从 GitHub 上抓取现成 PR 偷懒出题的日子结束了，没有深思熟虑的设计，只会被越学越精的模型钻空子。

我们认为，OpenAI 这一步走得相当清醒。作为在跑分上领跑的巨头，自己出面砸掉自己登顶的榜单，既给越来越虚假的数据泡沫降了温，也是在倒逼行业去制定更高维度的标准。不过这也带来了一个棘手的新问题：如果连业界通用的尺子都歪了，在下一代真正靠谱的基准出现之前，我们该拿什么来客观衡量 AI 的编程实力？