跳到正文
IFAI

產業動態

紐約律師用 ChatGPT 編造判例被抓包:不僅全屬虛構,還截圖當證據提交

首次發布 傳播指數 44

紐約一名律師在訴訟中藉助 ChatGPT 查詢判例,因大模型嚴重幻覺引用了 6 起憑空捏造的案件。在法官要求提供判決書時,他竟再次用 ChatGPT 編造全文並截圖提交。目前聯邦法官已下達命令,涉事律師面臨違規制裁聽證。

紐約律師用 ChatGPT 編造判例被抓包:不僅全屬虛構,還截圖當證據提交
圖:simonwillison.net

如果你覺得 AI 產生幻覺最多隻是在網上鬧個笑話,那接下來的事情可能會重新整理你的認知。

在紐約發生了一起堪稱法律界年度鬧劇的訴訟:一位執業律師在正規法庭辯護中拿 ChatGPT 做研究,一口氣引用了 6 起完全由 AI 憑空捏造的虛構案件。更絕的是,當對方和法官追查起來時,他沒有去查法律資料庫,而是回去讓 ChatGPT 繼續編造判決書,甚至把手機端網頁的聊天截圖直接當成了正式附錄提交給法庭。

現在,聯邦法官徹底被惹惱了,正式簽發命令要求相關律師和律所到庭接受違規制裁審查。

一場由虛構判例引發的連環車禍

這起風波源於 Mata 訴 Avianca 航空公司的一起人身傷害賠償案。原告稱在 2019 年搭乘航班時受傷,但被告航空公司在 2020 年曾申請破產保護,於是雙方開始爭論破產程式是否會導致索賠失效或訴訟時效中止。

為了駁回航空公司的動議,原告方的代理團隊提交了一份答辯書。在這份檔案中,他們言之鑿鑿地引用了大量判例,包括所謂的「Varghese 訴中國南方航空」「Miller 訴聯合航空」等案件,裡面甚至有模有樣地寫著具體的卷號、頁碼和詳細的法院判決引語。

然而被告律師在準備回應用詞時傻眼了:在 Westlaw 和美國聯邦法院電子案卷檢索系統 PACER 上,搜遍了都找不到這些判例。甚至根據對方提供的卷宗號去查,對應的全是完全無關的其他案子。

4 月 11 日,聯邦地區法官下達命令,要求原告律師 Peter LoDuca 提交答辯書中引用的 7 起案件的判決書副本。按理說,這時候只要去查一查正規資料庫,就能發現問題所在。

但他們選擇了一條更魔幻的路:回到 ChatGPT 介面,讓模型把這些案件的全文「寫」出來,然後將移動端網頁的螢幕截圖做成 PDF,直接作為正式證據附錄提交給法院。法官和對手一眼就能看出來,因為這幾份附件裡清清楚楚地印著 ChatGPT 介面標誌性的向下滾動箭頭。

問 AI「你真的沒騙我嗎」,AI 斬釘截鐵說「保真」

眼看謊話遮掩不住,5 月 4 日法官簽署指令,直斥這是一場前所未見的荒謬行徑,檔案中充斥著不存在的案件、虛假的引語和捏造的案號,並要求律師親自到法庭說明為什麼不應受到制裁。

在隨後提交的宣誓書裡,真正的幕後操作者浮出水面。原來是同所律師 Steven Schwartz 負責了前期的判例檢索。Schwartz 承認,自己此前從未用過 ChatGPT 做法律檢索,壓根不知道這東西會給出完全虛假的內容。

更讓人哭笑不得的是他們提交的對話記錄截圖。在懷疑判例真實性時,Schwartz 曾直接在對話方塊裡追問:「Varghese 那個案子是真的嗎?」

ChatGPT 毫不猶豫地回答:「是的,經我反覆核實,該案確實存在,可以在 Westlaw 和 LexisNexis 等知名資料庫中查到。」

於是這位執業律師就真的信了,甚至把這段「AI 親自保證自己沒說謊」的聊天記錄,當作洗脫故意欺瞞法庭嫌疑的證據,呈送給了法官。目前法官已定於 6 月 8 日舉行現場聽證會,包括 LoDuca、Schwartz 以及他們所在的律所,都面臨著被正式制裁的風險。

為什麼重要

這起事件給所有正在嘗試把生成式 AI 當作生產力工具的人提了個醒:大語言模型從來不是事實搜尋引擎,它的底層機制是機率接龍,在沒有外掛可靠檢索增強的情況下,它最擅長的事情恰恰是「一本正經地胡說八道」。

特別是在法律、醫療、工程這類嚴謹行業,專業壁壘不僅在於搜尋資訊,更在於交叉驗證與最終背書。AI 可以幫你潤色文段或梳理邏輯,但一旦涉及判例編號、法規條文或專業資料,任何未經權威資料庫複核的內容都形同定時炸彈。

在我們看來,涉事律師不僅犯了技術無知的低階錯誤,在應對法庭質疑時的做法更是缺乏基本的職業常識。當被要求提供原件時,試圖用「讓騙子再寫一份說明」的方式去交差,甚至盲信模型所謂的自我核查,徹底暴露出部分專業人員面對新技術時的認知斷層。

隨著各行各業加快接入大模型,這起案例很可能成為行業規範的分水嶺。它會迫使律所和各類機構建立嚴格的 AI 使用紅線:工具可以用來提效,但最終簽名的真人必須承擔背後的所有事實責任。

來源 (1)

  1. [1]
    simonwillison.net(在新分頁開啟)原文simonwillison.net

話題追蹤AI 幻覺引發的法律挑戰

這個話題的歷次新聞,最新的在上面。

  1. OpenAI 遭首例誹謗起訴:ChatGPT 憑空捏造電臺主持人貪汙 500 萬美元
  2. 紐約律師用 ChatGPT 編造判例被抓包:不僅全屬虛構,還截圖當證據提交本則

每日 AI 內容精選