OpenAI 推出 SWE-Lancer:拿 100 萬美元真實接單任務考 AI
OpenAI 推出 SWE-Lancer 評測基準,彙總了 Upwork 上總值 100 萬美元的 1400 多個真實外包工程任務。涵蓋 50 美元修 Bug 到 3.2 萬美元功能開發。評測顯示前沿大模型仍搞不定多數任務,團隊已開源評估套件。
OpenAI 推出 SWE-Lancer 評測基準,彙總了 Upwork 上總值 100 萬美元的 1400 多個真實外包工程任務。涵蓋 50 美元修 Bug 到 3.2 萬美元功能開發。評測顯示前沿大模型仍搞不定多數任務,團隊已開源評估套件。