Datacurve 釋出 DeepSWE 基準:測出程式設計智慧體的真實差距
Datacurve 釋出針對程式設計智慧體的新基準測試 DeepSWE。團隊表示,頂尖模型在現有公開榜單上跑分看似接近,DeepSWE 則通過貼近開發者日常工作的真實環境,測出它們真正的能力差距。

如果你平時用 AI 寫程式碼,大概早就發現了:各種排行榜上頂尖模型的分數咬得死死的,但實際換到自己的專案裡,好不好用完全是兩碼事。
Datacurve 針對這個問題釋出了一個叫 DeepSWE 的全新基準測試,專門用來評估智慧體程式設計模型。
測出日常開發裡的真差距
Datacurve 表示,現在的公開排行榜很難看出頭部模型之間的區別,大家看起來能力差不多。但 DeepSWE 的目標是還原開發者真實的日常工作體驗,把模型在真實場景裡到底在哪裡拉開差距給測出來。
為什麼重要
現在的程式設計評測很多已經刷分飽和,導致很多模型成了跑分選手,一進複雜真實專案就掉鏈子。
我們認為,DeepSWE 嘗試解決的就是這種跑分與體驗脫節的痛點。對開發者來說,如果它能有效反映真實工程環境下的表現,大家挑選模型時就不必再被虛高的公開榜單誤導;對行業來說,這也可能倒逼各家模型不再只死磕固定考卷,而是認真去啃日常開發裡那些瑣碎又容易翻車的長尾問題。
來源 (1)
- @serenaa_ge(在新分頁開啟)原文x.com