米弁護士、ChatGPTが捏造した架空の判例を裁判に提出し処分へ

AIの「幻覚（ハルシネーション）」を単なるネット上のネタ程度に考えているなら、ニューヨークの裁判所で起きた今回の出来事は、その認識を根底から覆すはずだ。

ある現役弁護士が訴訟の準備書面を作成する際、ChatGPTを使って判例を調査したところ、AIが完全に捏造した架空の判例6件をそのまま引用してしまった。それだけにとどまらず、裁判官から原本の提出を求められた弁護士は、再びChatGPTに判決文を捏造させ、スマートフォンの画面キャプチャを正式な証拠として裁判所に提出した。

激怒した連邦地裁判事は職権で命令を出し、関与した弁護士らに対する制裁審理を開くことを決めた。

存在しない判例から始まった連鎖事故

発端は、アビアンカ航空を相手取った損害賠償請求訴訟だ。原告側は2019年の搭乗中に怪我を負ったと主張していたが、同社は2020年に連邦破産法11条の適用を申請しており、訴訟の時効や請求権の有効性をめぐって双方が対立していた。

原告側の代理人弁護士は、航空会社の訴え却下申し立てに対抗するため答弁書を提出した。その書面には「Varghese対中国南方航空」など、破産手続き中の時効停止を認めたとされる有力な判例が、詳細な判決文の引用や事件番号付きでずらりと並んでいた。

しかし、被告側の弁護士が法曹向けデータベースのWestlawや裁判所記録検索システムPACERで調べたところ、該当する判例は一件も見つからなかった。記載されていた事件番号は、まったく別の事件のものだった。

4月11日、裁判長は原告側記録弁護士のPeter LoDucaに対し、引用した判例の判決文の写しを提出するよう命じた。ところが提出されたのは、ChatGPTのモバイル画面をスクリーンショットし、PDF化した書類だった。画面下部には、ChatGPT特有のスクロール用矢印がはっきりと写り込んでいた。

AIに「これ本物？」と聞き、信じてしまった弁護士

事態を重く見た裁判長は5月4日、前代未聞の虚偽提出であるとして理由開示命令を出した。提出された6件の判例はすべて架空のものであり、引用句も事件番号も捏造だった。

その後の宣誓供述書により、調査を実際に行ったのは同僚弁護士のSteven Schwartzだったことが判明した。Schwartzはこれまで業務でChatGPTを使ったことがなく、AIが存在しない情報を事実のように作り出す性質を持つとは知らなかったと釈明した。

さらに裁判所を呆れさせたのは、弁護士が提出したチャットのやり取りだ。判例の実在を疑ったSchwartzは、ChatGPTに「この判例は本当に実在するのか」と直接尋ねていた。

これに対しChatGPTは「再確認しましたが、確かに実在し、WestlawやLexisNexisで確認できます」と返答した。弁護士はその言葉を鵜呑みにし、意図的な偽証ではない証拠として、その画面キャプチャを裁判所に差し出した。裁判所は6月8日に制裁に関する対面での審理を開くことを決定している。

なぜ重要か

この事件は、生成AIの特性を理解しないまま業務の中核へ組み込むことの致命的なリスクを、極めて生々しい形で浮き彫りにした。大規模言語モデルは「それらしい文章を確率的に紡ぐ」仕組みであり、事実確認機能を持たない状態では、最もらしく精巧な嘘をつく。

法務や医療、金融といった厳密さが求められる領域において、情報の最終確認を怠ることは許されない。文章の要約や推敲の下書きにAIを使う価値はあるが、引用元の存在確認やファクトチェックは依然として人間の責任だ。

私たちの見立てでは、最初の誤認自体は技術リテラシーの不足によるものだとしても、疑義を抱かれた後にAI自身へ「お前は嘘をついていないか」と尋ねて納得し、その画面を法廷に出した判断は、専門職としての基本的な義務を怠っている。

今回の騒動を機に、法曹界をはじめとする各種専門職において、生成AIの利用ガイドラインの策定や開示義務化が一気に進むと考えられる。AIがいかに自信満々に回答しようとも、法的な責任を負うのは署名した人間であるという現実は変わらない。