跳到正文
IFAI

AI科研

斯坦福合同法盲测:75% 对决中,法学教授更认可 AI 的回答

首次发布 传播指数 36

斯坦福大学主导的研究显示,在近 3000 次合同法答疑盲测中,法学教授在 75% 的情况下更认可 AI 给出的答案,而非人类同行撰写的版本。最值得关注的是,教授仅将 3.5% 的 AI 回答标记为有害,而同行回答达 12%。也就是说,大模型在需要复杂推理与主观判断的领域已表现出惊人能力。

斯坦福合同法盲测:75% 对决中,法学教授更认可 AI 的回答
图:law.stanford.edu

过去大家普遍觉得,AI 在法律领域刷刷司法考试的选择题还行,一旦碰上没有标准答案、需要权衡利弊和主观判断的真实法律探讨,大模型肯定要露馅。

但斯坦福大学法学院最近的一项严肃盲测,把这个固有印象打得粉碎。

由斯坦福大学 liftlab 实验室负责人 Julian Nyarko 教授牵头,联合耶鲁大学、纽约大学和芝加哥大学学者共同公布了一项重磅研究。他们找来全美 14 所法学院的 16 位合同法教授,针对近 3000 次答疑做了一场彻头彻尾的匿名对决。

结果令人啼笑皆非:法学教授们在 75% 的对决中,更喜欢 AI 给出的答案,而不是自己人类同行写出来的版本。

2918 场盲测,人类同行输得很彻底

这项研究名为《法学教授偏好 AI 甚于同行回答》。研究团队专门挑了合同法的课后答疑场景,由 16 位教授撰写了 40 个具有代表性的典型问题。

这类问题绝非单纯考核法条记忆,而是需要严密的批判性思维和细腻的逻辑裁量。面对一个案件争议,正反两方的观点往往各有道理。

教授们为这些问题写下自己的参考答案,研究团队则同步调用 Google 的 Gemini 2.5 Pro 和 NotebookLM 生成回答。为了防止排版或篇幅露出破绽,团队还特意校准了 AI 答案的长度与结构。

随后,这 16 位教授在完全不知道作者是谁的情况下,对 2918 对答案进行了互评打分。

在绝大多数对比中,AI 均轻松胜出。全场仅有一位极其顶尖的人类教授,其平均得分能够勉强与大模型打成平手。

更尴尬的还在于教学危害性的判定。教授们把自己同行撰写的回答标记为「对学生有害或有误导性」的比例高达 12%,而 AI 的回答被标记为有害的几率只有 3.5%。也就是说,AI 给出的解释不仅更有说服力,在严谨度上甚至还显著优于大多数同行。

就算限制上下文,AI 依然在讲道理

耶鲁大学法学院的共同作者 Sarath Sanga 指出,大部分 AI 基准测试都有唯一正确答案,但法律世界往往没有。法律人更看重的是某种内化的专业论证水准,而测试证明大模型已经完全达标。

即便有时因为上下文窗口限制影响了发挥,教授们依然高频选择 AI 的解答。

为了进一步摸底,团队还引入 AI 辅助裁判,把测试范围扩展到了更多商用模型。在测试的全部模型中,Claude Opus 4.7 拔得头筹,而且所有参测模型的综合评分全部跨过了人类教授的水平线。

论文第一作者 Alejandro Salinas 表示,这意味着在充满主观裁量的复杂领域,AI 辅导系统完全能够胜任高水准的按需答疑,极大拓宽学生获得专业指导的渠道。

为什么重要

这项研究最核心的价值,是把 AI 辅导从「死记硬背」的争议区拉进了「价值判断」的深水区。对于法学院学生或初入职场的年轻法律人来说,随时随地获取接近顶尖教授水准的逻辑拆解不再是奢望。

对整个专业服务行业而言,那句「AI 只能干初级重复劳动、做不了专业决策」的说辞正变得站不住脚。如果 AI 能在合同法思辨中博得权威学者青睐,那么律所和企业法务在风险评估、争议分析上的工作流程势必面临彻底重构。

我们认为这项研究聪明的地方,在于它放弃了冰冷的客观题库,直接用业内同行的主观同行评审作为标尺。不过正如 Julian Nyarko 所提醒的,回答质量高不等于教学方法成熟,全面让 AI 接管教育为时尚早。但面对这样的盲测结果,全盘否定和过度防御显然已经站不住脚,如何安全、务实地把模型能力嵌入教学辅助,才是当下法学界真正该面对的课题。

来源 (1)

  1. [1]

每日 AI 内容精选