OpenAI 推出 SWE-bench Verified:500 道人工核验的编程评测题
OpenAI 联合原作者推出 SWE-bench Verified 基准测试。他们组织 93 名专业开发者人工核验,剔除描述不清和测试过于苛刻的样本,最终筛选出 500 个高质量题目。这意味着评估 AI 解决真实软件问题的表现将更加客观可靠。
OpenAI 联合原作者推出 SWE-bench Verified 基准测试。他们组织 93 名专业开发者人工核验,剔除描述不清和测试过于苛刻的样本,最终筛选出 500 个高质量题目。这意味着评估 AI 解决真实软件问题的表现将更加客观可靠。