跳到正文
IFAI

AI科研

Datacurve 发布 DeepSWE 基准:测出编程智能体的真实差距

首次发布 传播指数 31

Datacurve 发布针对编程智能体的新基准测试 DeepSWE。团队表示,顶尖模型在现有公开榜单上跑分看似接近,DeepSWE 则通过贴近开发者日常工作的真实环境,测出它们真正的能力差距。

Datacurve 发布 DeepSWE 基准:测出编程智能体的真实差距
图:x.com

如果你平时用 AI 写代码,大概早就发现了:各种排行榜上顶尖模型的分数咬得死死的,但实际换到自己的项目里,好不好用完全是两码事。

Datacurve 针对这个问题发布了一个叫 DeepSWE 的全新基准测试,专门用来评估智能体编程模型。

测出日常开发里的真差距

Datacurve 表示,现在的公开排行榜很难看出头部模型之间的区别,大家看起来能力差不多。但 DeepSWE 的目标是还原开发者真实的日常工作体验,把模型在真实场景里到底在哪里拉开差距给测出来。

为什么重要

现在的编程评测很多已经刷分饱和,导致很多模型成了跑分选手,一进复杂真实项目就掉链子。

我们认为,DeepSWE 尝试解决的就是这种跑分与体验脱节的痛点。对开发者来说,如果它能有效反映真实工程环境下的表现,大家挑选模型时就不必再被虚高的公开榜单误导;对行业来说,这也可能倒逼各家模型不再只死磕固定考卷,而是认真去啃日常开发里那些琐碎又容易翻车的长尾问题。

来源 (1)

  1. [1]
    @serenaa_ge(在新标签页打开)原文x.com

每日 AI 内容精选