スタンフォード大の契約法ブラインドテスト、法学部教授の75％が同僚よりAIの回答を評価

大規模言語モデルは司法試験の客観問題なら解けても、正解が一つに定まらない高度な主観的判断や法的推論には歯が立たないと、これまで多くの専門家が考えてきました。

しかし、スタンフォード大学ロースクールが主導した最新のブラインドテストは、その前提を覆しました。

スタンフォード大liftlabのジュリアン・ニャルコ教授をはじめ、イェール大学、ニューヨーク大学、シカゴ大学の法学者らによる共同研究チームが、法学部教授とAIによる契約法回答のブラインドテスト結果を発表しました。

全米14校から集まった16人の法学部教授が、同僚教授とAIが書いた回答を匿名で比較評価した結果、なんと75％の対決で同僚ではなくAIの回答が高く評価されました。

2918組のブラインド比較、同僚よりAIを高く評価

この研究は「法学部教授は同僚の回答よりもAIを好む」と題され、単なる条文知識の暗記ではなく、オフィスアワーで学生から受けるような批判的思考が求められる契約法の質問40件を対象に行われました。

参加した教授陣が自ら模範回答を作成し、GoogleのGemini 2.5 ProやNotebookLMにも同じ質問を与えて回答を生成しました。AI特有の長さによる偏りを排除するため、文章量や構造も厳密に調整されました。

その後、人間と同僚の回答がシャッフルされた2918組のペアをブラインドで判定したところ、AIが圧勝しました。モデルの評価と互角に渡り合えたのは、わずか1人のトップ教授だけでした。

さらに驚くべきは教育的リスクの評価です。学生を誤導するなど「教育上有害」と判定された割合は、人間の教授が書いた回答で12％に達したのに対し、AIの回答はわずか3.5％にとどまりました。

複雑な推論でもAIが上回る理由

共同執筆者であるイェール大のサラト・サンガ教授は、法学には唯一の正解が存在しないケースが多く、対立する主張の双方が成り立つ中で、法律家が暗黙のうちに用いる論理的基準をAIが十分に満たしていると指摘しました。

コンテキスト制限によりAIが本来の性能を発揮しきれないケースでも、教授陣は人間の回答よりAIを好む傾向が見られました。

さらに研究チームが追加の商用モデル9種をテストしたところ、Claude Opus 4.7が首位に立ち、テストされたすべてのモデルが人間の教授陣の平均スコアを上回りました。

なぜ重要か

この研究は、AIが単純な作業や暗記チェックだけでなく、高度な主観的判断を要する教育現場でも極めて実用的であることを示しました。学生にとっては、最高峰の法学教授レベルの論理的解説をいつでも受けられる環境が整いつつあります。

法務業界にとっても影響は甚大です。契約のレビューや複雑なリスク分析において、AIは単なる要約ツールを超え、洗練された論拠を組み立てるパートナーになりつつあります。

客観テストではなく、手厳しい同僚教授同士の主観評価をベンチマークにした設計は極めてスマートです。ニャルコ教授が指摘するように、回答の質が高いことと教育そのものは別であり、全面的なAI置換は現実的ではありません。しかし、AIに対する無条件の不信感を抱く段階は終わり、どう安全に教育へ組み込むかを考えるフェーズに入ったと言えます。