OpenAI 推出 SWE-Lancer:拿 100 万美元真实接单任务考 AI
OpenAI 推出 SWE-Lancer 评测基准,汇总了 Upwork 上总值 100 万美元的 1400 多个真实外包工程任务。涵盖 50 美元修 Bug 到 3.2 万美元功能开发。评测显示前沿大模型仍搞不定多数任务,团队已开源评估套件。
OpenAI 推出 SWE-Lancer 评测基准,汇总了 Upwork 上总值 100 万美元的 1400 多个真实外包工程任务。涵盖 50 美元修 Bug 到 3.2 万美元功能开发。评测显示前沿大模型仍搞不定多数任务,团队已开源评估套件。