跳到正文
IFAI

AI科研

斯坦福合同法盲測:75% 對決中,法學教授更認可 AI 的回答

首次發布 傳播指數 36

斯坦福大學主導的研究顯示,在近 3000 次合同法答疑盲測中,法學教授在 75% 的情況下更認可 AI 給出的答案,而非人類同行撰寫的版本。最值得關注的是,教授僅將 3.5% 的 AI 回答標記為有害,而同行回答達 12%。也就是說,大模型在需要複雜推理與主觀判斷的領域已表現出驚人能力。

斯坦福合同法盲測:75% 對決中,法學教授更認可 AI 的回答
圖:law.stanford.edu

過去大家普遍覺得,AI 在法律領域刷刷司法考試的選擇題還行,一旦碰上沒有標準答案、需要權衡利弊和主觀判斷的真實法律探討,大模型肯定要露餡。

但斯坦福大學法學院最近的一項嚴肅盲測,把這個固有印象打得粉碎。

由斯坦福大學 liftlab 實驗室負責人 Julian Nyarko 教授牽頭,聯合耶魯大學、紐約大學和芝加哥大學學者共同公佈了一項重磅研究。他們找來全美 14 所法學院的 16 位合同法教授,針對近 3000 次答疑做了一場徹頭徹尾的匿名對決。

結果令人啼笑皆非:法學教授們在 75% 的對決中,更喜歡 AI 給出的答案,而不是自己人類同行寫出來的版本。

2918 場盲測,人類同行輸得很徹底

這項研究名為《法學教授偏好 AI 甚於同行回答》。研究團隊專門挑了合同法的課後答疑場景,由 16 位教授撰寫了 40 個具有代表性的典型問題。

這類問題絕非單純考核法條記憶,而是需要嚴密的批判性思維和細膩的邏輯裁量。面對一個案件爭議,正反兩方的觀點往往各有道理。

教授們為這些問題寫下自己的參考答案,研究團隊則同步呼叫 Google 的 Gemini 2.5 Pro 和 NotebookLM 生成回答。為了防止排版或篇幅露出破綻,團隊還特意校準了 AI 答案的長度與結構。

隨後,這 16 位教授在完全不知道作者是誰的情況下,對 2918 對答案進行了互評打分。

在絕大多數對比中,AI 均輕鬆勝出。全場僅有一位極其頂尖的人類教授,其平均得分能夠勉強與大模型打成平手。

更尷尬的還在於教學危害性的判定。教授們把自己同行撰寫的回答標記為「對學生有害或有誤導性」的比例高達 12%,而 AI 的回答被標記為有害的機率只有 3.5%。也就是說,AI 給出的解釋不僅更有說服力,在嚴謹度上甚至還顯著優於大多數同行。

就算限制上下文,AI 依然在講道理

耶魯大學法學院的共同作者 Sarath Sanga 指出,大部分 AI 基準測試都有唯一正確答案,但法律世界往往沒有。法律人更看重的是某種內化的專業論證水準,而測試證明大模型已經完全達標。

即便有時因為上下文視窗限制影響了發揮,教授們依然高頻選擇 AI 的解答。

為了進一步摸底,團隊還引入 AI 輔助裁判,把測試範圍擴充套件到了更多商用模型。在測試的全部模型中,Claude Opus 4.7 拔得頭籌,而且所有參測模型的綜合評分全部跨過了人類教授的水平線。

論文第一作者 Alejandro Salinas 表示,這意味著在充滿主觀裁量的複雜領域,AI 輔導系統完全能夠勝任高水準的按需答疑,極大拓寬學生獲得專業指導的渠道。

為什麼重要

這項研究最核心的價值,是把 AI 輔導從「死記硬背」的爭議區拉進了「價值判斷」的深水區。對於法學院學生或初入職場的年輕法律人來說,隨時隨地獲取接近頂尖教授水準的邏輯拆解不再是奢望。

對整個專業服務行業而言,那句「AI 只能幹初級重複勞動、做不了專業決策」的說辭正變得站不住腳。如果 AI 能在合同法思辨中博得權威學者青睞,那麼律所和企業法務在風險評估、爭議分析上的工作流程勢必面臨徹底重構。

我們認為這項研究聰明的地方,在於它放棄了冰冷的客觀題庫,直接用業內同行的主觀同行評審作為標尺。不過正如 Julian Nyarko 所提醒的,回答質量高不等於教學方法成熟,全面讓 AI 接管教育為時尚早。但面對這樣的盲測結果,全盤否定和過度防禦顯然已經站不住腳,如何安全、務實地把模型能力嵌入教學輔助,才是當下法學界真正該面對的課題。

來源 (1)

  1. [1]

每日 AI 內容精選