跳到正文
IFAI

行业动态

纽约律师用 ChatGPT 编造判例被抓包:不仅全属虚构,还截图当证据提交

首次发布 传播指数 44

纽约一名律师在诉讼中借助 ChatGPT 查找判例,因大模型严重幻觉引用了 6 起凭空捏造的案件。在法官要求提供判决书时,他竟再次用 ChatGPT 编造全文并截图提交。目前联邦法官已下达命令,涉事律师面临违规制裁听证。

纽约律师用 ChatGPT 编造判例被抓包:不仅全属虚构,还截图当证据提交
图:simonwillison.net

如果你觉得 AI 产生幻觉最多只是在网上闹个笑话,那接下来的事情可能会刷新你的认知。

在纽约发生了一起堪称法律界年度闹剧的诉讼:一位执业律师在正规法庭辩护中拿 ChatGPT 做研究,一口气引用了 6 起完全由 AI 凭空捏造的虚构案件。更绝的是,当对方和法官追查起来时,他没有去查法律数据库,而是回去让 ChatGPT 继续编造判决书,甚至把手机端网页的聊天截图直接当成了正式附录提交给法庭。

现在,联邦法官彻底被惹恼了,正式签发命令要求相关律师和律所到庭接受违规制裁审查。

一场由虚构判例引发的连环车祸

这起风波源于 Mata 诉 Avianca 航空公司的一起人身伤害赔偿案。原告称在 2019 年搭乘航班时受伤,但被告航空公司在 2020 年曾申请破产保护,于是双方开始争论破产程序是否会导致索赔失效或诉讼时效中止。

为了驳回航空公司的动议,原告方的代理团队提交了一份答辩书。在这份文件中,他们言之凿凿地引用了大量判例,包括所谓的「Varghese 诉中国南方航空」「Miller 诉联合航空」等案件,里面甚至有模有样地写着具体的卷号、页码和详细的法院判决引语。

然而被告律师在准备回应用词时傻眼了:在 Westlaw 和美国联邦法院电子案卷检索系统 PACER 上,搜遍了都找不到这些判例。甚至根据对方提供的卷宗号去查,对应的全是完全无关的其他案子。

4 月 11 日,联邦地区法官下达命令,要求原告律师 Peter LoDuca 提交答辩书中引用的 7 起案件的判决书副本。按理说,这时候只要去查一查正规数据库,就能发现问题所在。

但他们选择了一条更魔幻的路:回到 ChatGPT 界面,让模型把这些案件的全文「写」出来,然后将移动端网页的屏幕截图做成 PDF,直接作为正式证据附录提交给法院。法官和对手一眼就能看出来,因为这几份附件里清清楚楚地印着 ChatGPT 界面标志性的向下滚动箭头。

问 AI「你真的没骗我吗」,AI 斩钉截铁说「保真」

眼看谎话遮掩不住,5 月 4 日法官签署指令,直斥这是一场前所未见的荒谬行径,文件中充斥着不存在的案件、虚假的引语和捏造的案号,并要求律师亲自到法庭说明为什么不应受到制裁。

在随后提交的宣誓书里,真正的幕后操作者浮出水面。原来是同所律师 Steven Schwartz 负责了前期的判例检索。Schwartz 承认,自己此前从未用过 ChatGPT 做法律检索,压根不知道这东西会给出完全虚假的内容。

更让人哭笑不得的是他们提交的对话记录截图。在怀疑判例真实性时,Schwartz 曾直接在对话框里追问:「Varghese 那个案子是真的吗?」

ChatGPT 毫不犹豫地回答:「是的,经我反复核实,该案确实存在,可以在 Westlaw 和 LexisNexis 等知名数据库中查到。」

于是这位执业律师就真的信了,甚至把这段「AI 亲自保证自己没说谎」的聊天记录,当作洗脱故意欺瞒法庭嫌疑的证据,呈送给了法官。目前法官已定于 6 月 8 日举行现场听证会,包括 LoDuca、Schwartz 以及他们所在的律所,都面临着被正式制裁的风险。

为什么重要

这起事件给所有正在尝试把生成式 AI 当作生产力工具的人提了个醒:大语言模型从来不是事实搜索引擎,它的底层机制是概率接龙,在没有外挂可靠检索增强的情况下,它最擅长的事情恰恰是「一本正经地胡说八道」。

特别是在法律、医疗、工程这类严谨行业,专业壁垒不仅在于搜寻信息,更在于交叉验证与最终背书。AI 可以帮你润色文段或梳理逻辑,但一旦涉及判例编号、法规条文或专业数据,任何未经权威数据库复核的内容都形同定时炸弹。

在我们看来,涉事律师不仅犯了技术无知的低级错误,在应对法庭质疑时的做法更是缺乏基本的职业常识。当被要求提供原件时,试图用「让骗子再写一份说明」的方式去交差,甚至盲信模型所谓的自我核查,彻底暴露出部分专业人员面对新技术时的认知断层。

随着各行各业加快接入大模型,这起案例很可能成为行业规范的分水岭。它会迫使律所和各类机构建立严格的 AI 使用红线:工具可以用来提效,但最终签名的真人必须承担背后的所有事实责任。

来源 (1)

  1. [1]
    simonwillison.net(在新标签页打开)原文simonwillison.net

话题追踪AI 幻觉引发的法律挑战

这个话题的历次新闻,最新的在上面。

  1. OpenAI 遭首例诽谤起诉:ChatGPT 凭空捏造电台主持人贪污 500 万美元
  2. 纽约律师用 ChatGPT 编造判例被抓包:不仅全属虚构,还截图当证据提交本条

每日 AI 内容精选