OpenAI 审查 SWE-Bench Pro：约 30% 编程评测任务存在缺陷
OpenAI 发布针对 SWE-Bench Pro 的审查结果，发现该基准测试中约 30% 的任务存在测试过严或提示词误导等缺陷。团队结合自动化筛选、调查智能体与工程师复核得出此结论，宣布收回此前对该基准的推荐，并呼吁构建更准确的评测体系。
SWE-bench Verified
OpenAI 详述为何停用 SWE-bench Verified：59.4% 错题有硬伤
OpenAI 宣布停用 SWE-bench Verified 评估并推荐 SWE-bench Pro。团队复核 o3 未解题目，发现 59.4% 存在测试缺陷导致正确代码被误拒；测试还证实前沿模型在训练中背诵了原题和补丁。OpenAI 认为该基准已无法反映真实代码水平。
OpenAI 推出 SWE-bench Verified：500 道人工核验的编程评测题
OpenAI 联合原作者推出 SWE-bench Verified 基准测试。他们组织 93 名专业开发者人工核验，剔除描述不清和测试过于苛刻的样本，最终筛选出 500 个高质量题目。这意味着评估 AI 解决真实软件问题的表现将更加客观可靠。