斯坦福发布第七期 AI 指数报告：跑分逼近人类，研究界急着出新题

上学时我们常说「把卷子做穿」，现在 AI 正把人类出的考卷挨个刷爆。

斯坦福大学以人为本人工智能研究院（HAI）最近发布了第七期年度《AI Index》报告。这份报告最耐人寻味的结论其实只有一句话：AI 在绝大多数传统性能测试上已经把人类甩在身后，以至于现有的跑分体系几乎全部失效，学者们不得不重新出题，来给人类找回一点尊严。

考卷不够用了

很多人还没意识到 AI 刷题有多凶猛。早在 2015 年，AI 就在图像分类上超过了人类基准，2017 年拿下基础阅读理解，2020 年攻克视觉推理，2021 年搞定自然语言推断。

到了 2023 年，战火烧到了更深水区的高难度认知任务。比如包含 1.25 万道竞赛级数学难题的 MATH 数据集，2021 年 AI 的得分率只有可怜的 6.9%，而到了 2023 年，基于 GPT-4 的系统已经冲到了 84.3%，距离人类高水平基准 90% 只有一步之遥。

在考查常识理解的视觉常识推理（VCR）测试中，AI 在 2023 年也跃升到了 81.6 分，逼近人类 85 分的基线。这意味着看到桌上一只猫，AI 已经能推测出猫可能会跳下来，或者桌子撑得住猫的体重。

图像生成方面同样夸张，文生图工具在不到两年的时间里就完成了从模糊抽象到照片级质感的跃迁。在 HEIM 的 12 项评测中，DALL-E 2 在图文匹配度上拔得头筹，而基于 Stable Diffusion 的 Dreamlike Photoreal 模型则在画质和美学上领跑。

聪明的偏科生

不过，这个优等生依然有致命硬伤，那就是说谎不眨眼。

报告指出，大语言模型的「幻觉」依然顽固。纽约律师 Steven Schwartz 听信 ChatGPT 捏造判例被法官罚款 5000 美元的乌龙，就是最典型的反面教材。

在专门针对常识误区的 TruthfulQA 测试中，即使表现最好的 GPT-4，得分也仅仅只有 0.59。虽然这已经是 2021 年 GPT-2 分数的近三倍，但也说明在近四成容易让人混淆的严肃问题上，模型依然会自信满满地给出错误答案。

更让人感慨的是，这份报告统计的数据其实只截止到 2023 年底。进入 2024 年之后，Sora、Claude 3、Suno 和 Devin 这类工具接踵而至，技术迭代的速度早把去年的数据抛在身后。

为什么重要

这篇报告给所有从业者提了个醒：我们不能再拿旧尺子来量新怪物了。

对普通人和企业来说，这意味着两件事。第一，只要是规则明确、答案唯一的闭卷考试型任务，比如写基础代码、解算术题、整理常规资料，AI 的可靠度已经远超普通打工人，不用就是纯粹的效率浪费。第二，幻觉问题在底层机制上还没彻底根除，在医疗、法律和财务这些容错率极低的行业，绝对不能让 AI 闭环运行，必须有人把关。

从行业竞争来看，传统的学术基准正在彻底贬值。以前各家模型发论文争夺榜首，现在大家发现跑分高根本不代表在实际业务里好用，真实工作流中的多步骤推理和长任务执行成了新的分水岭。

我们认为，AI 界目前最紧迫的矛盾，是评测工具的演进速度远远落后于模型能力的膨胀。当 AI 连竞赛数学题都能轻松拿下时，行业迫切需要一套全新的评价体系，来定义什么是真正通向通用人工智能的深度推理，而不是继续在一堆被刷爆的旧题库里打转。