OpenAI 審查 SWE-Bench Pro：約 30% 程式設計評測任務存在缺陷
OpenAI 釋出針對 SWE-Bench Pro 的審查結果，發現該基準測試中約 30% 的任務存在測試過嚴或提示詞誤導等缺陷。團隊結合自動化篩選、調查智慧體與工程師複核得出此結論，宣佈收回此前對該基準的推薦，並呼籲構建更準確的評測體系。
SWE-Bench Pro
OpenAI 詳述為何停用 SWE-bench Verified：59.4% 錯題有硬傷
OpenAI 宣佈停用 SWE-bench Verified 評估並推薦 SWE-bench Pro。團隊複核 o3 未解題目，發現 59.4% 存在測試缺陷導致正確程式碼被誤拒；測試還證實前沿模型在訓練中背誦了原題和補丁。OpenAI 認為該基準已無法反映真實程式碼水平。