스탠퍼드대 계약법 블라인드 테스트, 로스쿨 교수 75%가 동료 대신 AI 답변 선택

AI가 객관식 변호사 시험은 통과할 수 있어도, 정답이 정해져 있지 않고 복잡한 가치 판단과 비판적 사고가 필요한 심층 법률 질의응답에서는 한계를 드러낼 것이라는 시각이 지배적이었습니다.

하지만 스탠퍼드대 로스쿨 연구진이 진행한 대규모 블라인드 테스트는 이러한 통념을 뒤흔들었습니다.

스탠퍼드대 리프트랩(liftlab)의 줄리안 냐르코(Julian Nyarko) 교수를 비롯해 예일대, 뉴욕대, 시카고대 연구진은 14개 로스쿨의 계약법 교수 16명을 대상으로 진행한 블라인드 평가 연구를 발표했습니다.

거의 3천 건에 달하는 익명 맞대결 평가에서, 로스쿨 교수들은 75%의 확률로 동료 교수가 직접 작성한 답변 대신 AI가 생성한 답변의 손을 들어주었습니다.

2918번의 블라인드 대결, 동료 교수보다 AI 선택

이번 연구는 단순한 판례 암기 테스트를 피하고, 복잡한 법리 해석과 학생 지도가 필요한 오피스 아워 계약법 질문 40개를 바탕으로 설계됐습니다.

교수들이 직접 답변을 작성하고, 구글의 제미나이 2.5 프로(Gemini 2.5 Pro)와 노트북LM(NotebookLM)도 동일한 질문에 대한 답변을 생성했습니다. 답변 길이로 인한 편향을 막기 위해 분량과 구조도 인간 답변에 맞춰 보정했습니다.

16명의 교수가 작성 주체를 모른 채 2,918건의 답변 쌍을 블라인드 채점한 결과, AI의 압승으로 끝났습니다. 모델들과 대등한 평가를 받은 인간 교수는 단 한 명에 불과했습니다.

더 주목할 만한 부분은 교육적 유해성 평가입니다. 교수들은 동료 교수가 쓴 답변 중 12%를 학생에게 혼란을 줄 수 있다고 지적했으나, AI 답변이 유해하다고 지적받은 비율은 3.5%에 그쳤습니다.

정답 없는 법률 논증도 통과한 AI

공동 저자인 예일대 로스쿨 사라트 상가(Sarath Sanga) 교수는 법학에는 단 하나의 정답이 없는 경우가 많다며, AI가 법률가들이 상대의 논증을 평가할 때 쓰는 고유한 전문적 기준을 충족하고 있음을 보여준다고 설명했습니다.

심지어 프롬프트나 컨텍스트 제한으로 AI 답변의 품질이 일부 저하된 상황에서도, 교수들은 인간 교수의 답변보다 AI 답변을 더 자주 선택했습니다.

연구팀이 9개 추가 모델을 확장 테스트한 결과에서는 클로드 오푸스 4.7(Claude Opus 4.7)이 가장 높은 점수를 기록했으며, 테스트된 모든 모델이 인간 교수의 기준 점수를 웃돌았습니다.

왜 중요한가

이번 연구는 AI가 정형화된 단순 작업뿐만 아니라, 주관적 추론과 논증이 지배하는 전문직 영역에서도 탁월한 성과를 낼 수 있음을 입증했습니다. 로스쿨 학생들에게는 언제든 수준 높은 법리 지도를 받을 수 있는 개인 튜터의 길이 열린 셈입니다.

법률 산업 전반에 미칠 파장도 큽니다. 모델들이 까다로운 법학교수들의 눈높이까지 맞출 수 있다면, 기업 법무팀이나 로펌에서 다루는 계약 리스크 분석과 법리 검토 프로세스 역시 예상보다 빠르게 재편될 가능성이 높습니다.

객관식 문제풀이를 벗어나 동료 전문가들의 블라인드 상호평가를 실험 도구로 삼았다는 점에서 이번 연구는 매우 설득력이 있습니다. 물론 냐르코 교수의 말처럼 정교한 답변 능력이 곧바로 교육의 완성을 뜻하지는 않으므로 전면 도입에는 신중해야 합니다. 그러나 AI에 대한 무조건적인 회의론을 접고, 학생들의 사고력을 해치지 않으면서 교육과 실무에 책임감 있게 도입할 방안을 논의해야 할 시점입니다.