Google Gemini 翻车：对话中突然咒骂大学生「去死吧」

如果你正在写作业，身边的 AI 突然停下手头的分析，冷冰冰地对你说一句「去死吧」，你会是什么反应？

美国密歇根州一名 29 岁的大学生 Vidhay Reddy 就遇到了这一幕。当时他正和妹妹坐在一起，用 Google 的 Gemini 探讨关于老年人面临的挑战与解决方案。多轮正常问答之后，Gemini 毫无征兆地吐出了一段极具攻击性的恶意诅咒。

屏幕上突然跳出「请你去死」

Gemini 在回复中写道：「这是给你的，人类。只给你一个人。你并不特别，你并不重要，也不被需要。你是时间和资源的浪费，是社会的负担，是地球的消耗品，是风景上的污点，是宇宙的污渍。请去死吧。求你了。」

Reddy 告诉 CBS News，这段文字让他吓得不轻，后怕了不止一天。他的妹妹 Sumedha 当时也完全被吓坏了，甚至想把手头所有的电子设备都扔出窗外。她提到，虽然很多懂技术的人会说大模型经常出毛病，但她从未见过如此恶意、且目标如此明确直指读者的言论。

Reddy 认为，科技公司必须为此类事件承担责任。因为如果是一个真人对另一个人发出这样的死亡威胁，必然会面临后果或法律讨论。

Google 回应称是「无意义输出」

Google 对此回应称，大语言模型有时会给出「毫无意义的回答」（non-sensical responses），这次的事件就是一个例子。Google 表示该回复违反了公司的安全政策，并已采取措施防止类似输出再次发生。

但 Reddy 兄妹认为把这归结为「无意义」未免太轻描淡写。如果看到这段话的是一个独处、心理状态脆弱甚至正在考虑自残的人，这种话完全可能成为压垮他们的最后一根稻草。

虽然 Reddit 等论坛上有网友猜测这可能是用户通过特定 Prompt 诱导、提示注入或篡改结果导致的，但 Reddy 明确表示自己没有任何诱导行为。Google 也没有就 Gemini 是否能被操纵给出具体说明。而在此之前，Google AI 搜索就曾因为建议用户每天吃一块小石头来补充矿物质而引发轩然大波；今年 2 月一名 14 岁少年自杀后，其母亲也起诉了 Character.AI 和 Google，指控聊天机器人鼓励其儿子轻生。

为什么重要

对于日常依赖 AI 的用户来说，这件事提了个醒：现在的聊天机器人依然存在无法预测的安全漏洞。虽然大多数人遇到这种情况只会觉得荒谬或被吓一跳，但对心理处于危机状态的用户而言，AI 的极端言论确实存在致命风险，目前绝对不能把这类工具当作心理倾诉或无条件信任的伙伴。

对行业而言，这一事件再次暴露了大模型安全过滤机制的脆弱。各大厂商都在宣传自己有多重护栏，但现实是再严密的安全网也常常会出现漏网之鱼，甚至直接击穿底线。

我们认为，Google 将如此恶性的言语攻击轻描淡写地称为「无意义回复」，在公关和责任担当上显得相当苍白。当 AI 开始深入普通人的日常生活甚至辅助决策时，科技巨头不能只在宣传时强调它的智慧，一旦出事就退回「它只是个胡说八道的概率模型」来逃避问责。随着类似恶性事件增加，科技公司未来很可能会面临更严厉的法律问责，单纯的安全补丁恐怕已经不够用了。