OpenAI 審查 SWE-Bench Pro：約 30% 程式設計評測任務存在缺陷
OpenAI 釋出針對 SWE-Bench Pro 的審查結果，發現該基準測試中約 30% 的任務存在測試過嚴或提示詞誤導等缺陷。團隊結合自動化篩選、調查智慧體與工程師複核得出此結論，宣佈收回此前對該基準的推薦，並呼籲構建更準確的評測體系。
SWE-bench Verified
OpenAI 詳述為何停用 SWE-bench Verified：59.4% 錯題有硬傷
OpenAI 宣佈停用 SWE-bench Verified 評估並推薦 SWE-bench Pro。團隊複核 o3 未解題目，發現 59.4% 存在測試缺陷導致正確程式碼被誤拒；測試還證實前沿模型在訓練中背誦了原題和補丁。OpenAI 認為該基準已無法反映真實程式碼水平。
OpenAI 推出 SWE-bench Verified：500 道人工核驗的程式設計評測題
OpenAI 聯合原作者推出 SWE-bench Verified 基準測試。他們組織 93 名專業開發者人工核驗，剔除描述不清和測試過於苛刻的樣本，最終篩選出 500 個高質量題目。這意味著評估 AI 解決真實軟體問題的表現將更加客觀可靠。