OpenAI 審查 SWE-Bench Pro：約 30% 程式設計評測任務存在缺陷

如果一張卷子裡有將近三分之一的題目，要麼題幹缺斤少兩，要麼標準答案只認一種死腦筋寫法，考出來的 80 分到底還算不算數？

OpenAI 最近就給整個大模型評測圈潑了一盆冷水。他們對自己曾大力推薦的程式設計評測集 SWE-Bench Pro 做了一次徹底審計，結果發現，這套公開的 731 道測試任務裡，大約有 30% 根本就是壞的。

由於題目漏洞太多，OpenAI 正式宣佈收回此前建議行業採用 SWE-Bench Pro 的推薦，並呼籲大家重新搭建專門給 AI 考試的基準。

從 23% 到 80%：飛速漲分的卷子出問題了

之前行業最愛用的評測集是 SWE-bench Verified，但 OpenAI 查出它存在根本設計缺陷和資料汙染，當時 OpenAI 曾鼓勵社群轉向更逼真、任務鏈條更長的 SWE-Bench Pro。

在 SWE-Bench Pro 的 731 個公開任務上，前沿模型的跑分確實很漂亮，通過率在短短八個月內從 23.3% 飆升到了 80.3%。

然而分數漲得太快，OpenAI 覺得事有蹊蹺，於是組織了一套質檢流程。他們先用自動化過濾器篩查了任務說明、模型程式碼和判分測試，初篩出 286 個疑似有問題的任務，隨後圈定 200 到 249 個任務確實存在損壞。

為了查清這些題到底哪裡壞了，OpenAI 派出了基於 Codex 的調查員智慧體。這些智慧體有權進入倉庫環境跑測試、翻程式碼，排查究竟是合理的模糊還是真正的描述缺失。

與此同時，OpenAI 還找來有經驗的軟體工程師。每個有爭議的任務都要經過五名工程師獨立審查，和 AI 智慧體共同對比複核。

藏在 GitHub 真實程式碼裡的四大漏洞

審計最終把問題歸結為四類常見的硬傷。

第一類是測試過於苛刻。很多單元測試強制要求某種特定實現，哪怕模型的程式碼在功能上完全正確，只要沒按原作者的私有套路寫就會被判零分。

第二類是提示詞缺斤少兩。題幹里根本沒提隱藏測試點，模型在常理下完全推導不出來。

第三類是測試覆蓋率過低。這會導致一些半吊子、沒寫全的程式碼也能矇混過關拿到滿分。

第四類則是提示詞誤導，直接把模型往錯誤的方向帶，甚至和測試要求相互矛盾。

OpenAI 解釋說，這些任務大多直接扒自真實開源專案的 Pull Request。但開源社群的 Issue 和程式碼是人與人之間反覆溝通妥協的結果，很多 PR 裡的測試只為了驗證某一次具體改動，根本不適合拿來當通用的評測標尺。

有趣的是，在複核過程中，人類工程師比 AI 智慧體更嚴格。比如在測試覆蓋率過低這一項上，人類判定存在該問題的比例是 9.4%，而智慧體只查出了 4.1%。

為什麼重要

對於正在挑模型、做落地的開發者來說，這件事提了一個醒：千萬別迷信榜單上的高通過率。

很多開發者按著榜單買 API，結果放到自己業務裡發現 AI 寫程式碼依然經常卡殼。原因就在於評測集裡有大量水分，高分可能是模型撞大運繞過了低覆蓋測試，也可能是把壞題的死記硬背當成了真本事。

對整個 AI 行業而言，這說明大模型評測已經到了必須推倒重來的關口。光靠從 GitHub 上抓取現成 PR 偷懶出題的日子結束了，沒有深思熟慮的設計，只會被越學越精的模型鑽空子。

我們認為，OpenAI 這一步走得相當清醒。作為在跑分上領跑的巨頭，自己出面砸掉自己登頂的榜單，既給越來越虛假的資料泡沫降了溫，也是在倒逼行業去制定更高維度的標準。不過這也帶來了一個棘手的新問題：如果連業界通用的尺子都歪了，在下一代真正靠譜的基準出現之前，我們該拿什麼來客觀衡量 AI 的程式設計實力？