美 변호사, 챗GPT가 지어낸 가짜 판례 법원에 제출했다가 제재 위기

생성형 AI의 환각 현상이 온라인상의 단순한 가십거리를 넘어 실제 법정에서 치명적인 사고로 이어질 수 있음을 보여주는 초유의 사태가 뉴욕 연방법원에서 벌어졌다.

한 현직 변호사가 소송 준비 과정에서 챗GPT를 이용해 법률 판례를 조사하다가, 모델이 완전히 날조한 6건의 가짜 판례를 법원 제출 서면에 그대로 인용했다. 상대 측과 재판부가 판결문 원본을 요구하자, 해당 변호사는 챗GPT에 판결문 전문을 다시 작성하게 한 뒤 스마트폰 화면 캡처본을 법원에 증거로 제출했다.

격노한 연방 판사는 전례 없는 기만행위라며 관련 변호사들과 로펌을 대상으로 공식 제재 심리를 명령했다.

가짜 판례가 불러온 파국의 연쇄 반응

사건의 발단은 아비앙카 항공을 상대로 제기된 승객 부상 손해배상 소송이었다. 원고는 2019년 항공기 탑승 중 부상을 입었다며 제소했으나, 항공사 측은 2020년 신청한 파산 보호 절차를 이유로 소송 시효 만료와 청구권 소멸을 주장했다.

이에 원고 측 대리인은 파산 절차 중에도 소멸시효가 정지된다는 취지의 반박 서면을 제출했다. 서면에는 'Varghese 대 중국남방항공', 'Miller 대 유나이티드항공' 등 명확한 사건 번호와 판시 사항, 법원 인용문까지 포함된 판례들이 당당하게 적혀 있었다.

그러나 항공사 측 변호인단이 미국 최대 판례 검색 서비스인 Westlaw와 법원 전산망 PACER를 샅샅이 뒤져도 해당 사건은 전혀 나오지 않았다. 기재된 사건 번호는 완전히 다른 무관한 사건들의 번호였다.

4월 11일, 담당 연방 판사는 원고 측 대리인 Peter LoDuca 변호사에게 해당 판례들의 판결문 사본을 제출하라고 명령했다. 이때라도 정상적인 법률 데이터베이스를 확인했다면 수습할 수 있었겠지만, 변호사들은 다시 챗GPT에게 해당 판결문의 전문을 쓰도록 요청한 뒤 화면을 캡처해 PDF로 법원에 냈다. 제출된 문서에는 모바일 웹용 챗GPT 특유의 스크롤 화살표 아이콘이 선명하게 남아 있었다.

AI에게 "너 진짜지?" 묻고 믿어버린 변호사

결국 5월 4일, 판사는 전례를 찾아볼 수 없는 허위 문서 제출이라며 징계 처분을 검토하겠다는 명령을 내렸다. 서면에 인용된 6개 판례는 사건명, 판결 이유, 법원 인용문까지 모조리 지어낸 가짜였다.

이후 제출된 진술서에서 실제 조사를 진행한 인물은 같은 로펌의 Steven Schwartz 변호사로 밝혀졌다. 그는 이전까지 판례 조사에 챗GPT를 써본 적이 없어, AI가 거짓 정보를 사실처럼 만들어낼 수 있다는 점을 전혀 몰랐다고 털어놨다.

법원을 더욱 당황하게 만든 것은 함께 제출된 대화 캡처본이었다. 판례가 실재하는지 의구심이 들자, Schwartz 변호사는 챗GPT에게 직접 "Varghese 사건이 진짜 존재하는 사건이 맞느냐"고 되물었다.

챗GPT는 망설임 없이 "거듭 확인한 결과 해당 사건은 실재하며 Westlaw와 LexisNexis 등 데이터베이스에서 찾을 수 있다"고 호언장담했다. 변호사는 AI의 거짓말을 그대로 믿고 법원에 고의적인 기만이 아니었음을 소명하는 증거랍시고 이 대화 캡처를 제출했다. 법원은 6월 8일 대면 심리를 열고 해당 변호사들과 로펌에 대한 공식 제재 수위를 결정하기로 했다.

왜 중요한가

이번 사태는 생성형 언어 모델의 근본적 한계를 망각한 채 전문 업무에 무비판적으로 도입했을 때 어떤 재앙이 발생하는지 여실히 보여준다. LLM은 그럴듯한 문장을 이어 붙이는 확률적 도구일 뿐 사실관계를 판별하는 진위 검증 장치가 아니다.

법률, 의료, 회계처럼 정확성이 생명인 분야에서 AI는 문서 초안 작성이나 아이디어 정리에는 유용할지언정, 검증되지 않은 판례 번호나 통계 데이터를 그대로 차용하는 것은 시한폭탄을 안고 일하는 것과 같다.

우리가 보기에 초기 환각에 속은 것은 단순한 기술적 무지라 치더라도, 법원이 판결문 제출을 요구했을 때 AI에게 다시 허위 문서를 쓰게 하고 "스스로 확인했다"는 챗봇의 말을 믿은 대목은 전문가로서 최소한의 직업 윤리와 주의 의무를 저버린 처사다.

이번 사건을 계기로 전 세계 법조계와 주요 전문직군에서는 생성형 AI 활용에 대한 명확한 공시 기준과 교차 검증 의무화 규정이 급물살을 탈 것으로 보인다. AI가 얼마나 설득력 있게 답하든, 최종 문서에 서명하고 그에 따른 법적 책임을 져야 하는 주체는 결국 인간이기 때문이다.