OpenAIがSWE-Bench Proを監査、約30％のコーディング課題に不備と指摘
OpenAIはプログラミング評価ベンチマーク「SWE-Bench Pro」の検証結果を公表し、課題の約30％に過度なテスト制約や不備があると報告した。同社は過去の推奨を撤回し、AIモデルの実力を正確に測る新たな評価指標の構築を業界に求めている。
SWE-bench Verified
OpenAI、コーディング評価「SWE-bench Verified」の利用停止を発表 問題の欠陥や学習データ汚染を指摘
OpenAIは最先端モデルのコーディング能力評価から「SWE-bench Verified」を除外すると発表した。OpenAI o3が失敗した課題の59.4%で正解を誤判定するテストの不備が見つかり、さらにモデルが正解コードを丸暗記していたことも判明した。代替としてSWE-bench Proを推奨している。
OpenAI、AIコーディング評価の精度を高める「SWE-bench Verified」を公開
OpenAIはSWE-benchの開発陣と共同で「SWE-bench Verified」を公開した。93人の専門開発者が曖昧な課題文や不当なユニットテストを精査し、信頼性の高い500件の問題を厳選。AIによる自律的なソフトウェア開発能力をより正確に測定できるようになる。