ChatGPT 遇到特定人名直接罢工:为防诽谤诉讼硬编码拦截
测试发现 ChatGPT 存在硬编码拦截名单,在任何语境下输入 Brian Hood、Jonathan Turley 等人名都会报错并中断对话。这套过滤机制旨在防止模型胡编事实引发名誉侵权纠纷,不过 API 和开发者平台不受影响。

给一个聊天机器人发个普通人名,它不仅不回答,还当场把对话掐断、报错死机。听起来像什么恶搞彩蛋,但在 ChatGPT 上,这事是真实发生的。
最近 Reddit 和社交媒体上的网友发现,只要在对话框里敲入某些特定名字,ChatGPT 就会直接卡壳。Ars Technica 实测确认,机器人会直接弹出一句无法生成回答或者生成出错,随后彻底终止这次会话。
哪些名字成了不能说的秘密
这串神秘名单里最早被盯上的是 David Mayer。网友发现这个名字能百分之百让对话死机,不过在报道发布前不久,OpenAI 已经悄悄把这个名字的限制解除了。
但随后媒体和网友顺藤摸瓜,挖出了更多名字。404 Media 发现哈佛法学教授 Jonathan Zittrain 和乔治华盛顿大学法学教授 Jonathan Turley 同样能触发崩溃。
目前社区整理出来的名单还包括 Brian Hood、David Faber 以及意大利数据保护机构官员 Guido Scorza。在报道看来,去年澳大利亚市长 Brian Hood 针对 OpenAI 的诽谤指控诉讼,很可能就是这套封禁名单的源头。
不过,这个拦截并不是在底层模型里抹除了这些词。测试发现,这些名字只在 ChatGPT 的网页和客户端界面生效,如果通过 OpenAI 的 API 接口或者面向开发者的 Playground 调用,模型依然可以正常处理和输出。
粗暴但管用的硬编码刹车
说白了,ChatGPT 根本不是一个单纯的大模型加前端壳子,它外层套着厚厚的内容过滤器。这次触发崩溃的,就是一道硬编码的输出过滤器。
每当模型生成的文本里即将出现这些特定敏感名字时,这道安全网就会强行踩刹车,在内容送到用户屏幕之前把它直接掐断。
OpenAI 这么做,目的很现实,就是为了防止 AI 幻觉惹上诽谤官司或公关麻烦。大模型经常信口开河编造事实,一旦把某个真实存在的人物造谣成罪犯,法务风险立刻就会找上门。
类似的操作之前也出现过。2023 年 11 月谷歌研究人员发现,让 ChatGPT 永远重复某个词就能诱导它吐出原始训练数据。OpenAI 随后也是简单粗暴地下了一道死命令,直接禁止模型无限重复同一个词。
为什么重要
对普通人来说,这提醒了我们一件事:你看到的 ChatGPT 输出,并不是模型最纯粹的原本思考,而是被层层过滤后的产物。如果你在写文稿或做调研时突然发现会话莫名崩溃,很可能不是网络坏了,而是你不小心踩中了 OpenAI 的黑名单。
从行业和技术角度来看,这种做法看起来实在算不上优雅。作为一个估值极高的前沿 AI 巨头,面对模型幻觉带来的诽谤风险,最终拿出来的解法居然和二十年前论坛屏蔽敏感词的硬编码没什么两样。
我们认为,这种防御手段暴露出底层技术在精准对齐上的无力。要在模型权重里彻底教会 AI 别对某个人造谣,成本极高甚至目前根本做不到;而在输出层粗暴截断,虽然零成本解决了被起诉的燃眉之急,却把破损的产品体验直接甩给了用户。
更让人担忧的是透明度。OpenAI 并没有公开过这份名单,也没有在界面上提示用户触碰了法律过滤,而是伪装成系统报错。这种把法务补丁伪装成网络故障的做法,只会让外界对这家公司的安全边界到底划在哪里产生更多疑问。
来源 (1)
- arstechnica.com(在新标签页打开)原文arstechnica.com