OpenAI 发布新基准 GDPval:覆盖 44 种职业,实测 AI 打工水平
OpenAI 推出新评测基准 GDPval,选取对美国 GDP 贡献最高的 9 大行业中 44 种知识工作职业,设计了 1320 个真实交付物任务。最关键的是,盲测显示顶级模型在部分任务上已逼近行业专家水平,且成本降低约百倍。不过目前测试仅限单轮交付,暂未覆盖多轮交互。
OpenAI 推出新评测基准 GDPval,选取对美国 GDP 贡献最高的 9 大行业中 44 种知识工作职业,设计了 1320 个真实交付物任务。最关键的是,盲测显示顶级模型在部分任务上已逼近行业专家水平,且成本降低约百倍。不过目前测试仅限单轮交付,暂未覆盖多轮交互。