OpenAIがSWE-Bench Proを監査、約30％のコーディング課題に不備と指摘
OpenAIはプログラミング評価ベンチマーク「SWE-Bench Pro」の検証結果を公表し、課題の約30％に過度なテスト制約や不備があると報告した。同社は過去の推奨を撤回し、AIモデルの実力を正確に測る新たな評価指標の構築を業界に求めている。
SWE-Bench Pro
OpenAI、コーディング評価「SWE-bench Verified」の利用停止を発表 問題の欠陥や学習データ汚染を指摘
OpenAIは最先端モデルのコーディング能力評価から「SWE-bench Verified」を除外すると発表した。OpenAI o3が失敗した課題の59.4%で正解を誤判定するテストの不備が見つかり、さらにモデルが正解コードを丸暗記していたことも判明した。代替としてSWE-bench Proを推奨している。