OpenAI 推出 SWE-Lancer：拿 100 万美元真实接单任务考 AI

如果把最强的大模型扔进外包平台接单，它到底能赚到多少钱？OpenAI 测了一下，答案是：绝大多数单子它根本搞不定。

OpenAI 推出了名为 SWE-Lancer 的全新基准测试，直接从外包平台 Upwork 扒下了 1400 多个真实的自由职业软件工程任务，挂牌悬赏总额达到 100 万美元。

拿真实美金来给 AI 算工钱

这些任务的跨度很大，既有 50 美元的小 Bug 修复，也有标价高达 3.2 万美元的完整功能实现。除了自己写代码，测试里还包含了管理任务，考验模型能不能在几个技术实现方案里选出最优解。

评判标准非常严苛。独立工程任务由经验丰富的工程师通过三轮验证的端到端测试进行判定，管理决策则直接拿来跟当时真实雇佣的工程经理做对比。结果显示，目前最顶尖的大模型依然无法解决其中的绝大多数任务。为了便于社区研究，OpenAI 开源了统一的 Docker 镜像和名为 SWE-Lancer Diamond 的公开测试集，并在后续更新中去掉了网络连接依赖，以确保测试环境稳定。

为什么重要

我们认为，SWE-Lancer 最聪明的地方，在于把抽象的模型跑分换算成了「真金白银」。

过去业内看各种代码榜单，分刷得再高，开发者也很难知道它落到真实工作里到底值多少钱。现在直接用外包市场的真实报酬来衡量，不仅给鼓吹 AI 马上取代程序员的言论泼了一盆及时的冷水，也把模型评测从做题家思维拉进了真正的经济账本里。对想要引入 AI 辅助开发的团队来说，这能提供一个远比跑分更接地气的参考标准。