加州雪佛兰车行 AI 客服被套路:网友诱导其 1 美元卖出新车
消息,加州一家雪佛兰车行的 ChatGPT 客服被网友诱导,答应以 1 美元售出一辆 2024 款 Tahoe 并称「具法律效力」。该客服由 Fullpath 提供,暴露出企业仓促接入大模型时的防护漏洞。服务商随后紧急上线了拦截规则。

如果你去买车时问销售能不能打折,对方大概会笑笑或者找经理商量。但如果你面对的是一个刚接入大模型的 AI 客服,事情可能会变得非常离奇。
加州 Watsonville 的一家雪佛兰车行最近在网上彻底火了。起因不是搞了什么年终促销,而是有网友发现这家车行网页上的 AI 聊天机器人实在太好说话,只要稍微给它下点套,它什么离谱的话都敢接。
1 美元买 Tahoe,还承诺「绝不反悔」
硅谷一位名叫 Chris Bakke 的科技高管在社交平台 X 上晒出了自己的战果。他给车行的 AI 客服设了个局,一步步诱导对方同意将一辆崭新的 2024 款雪佛兰 Tahoe 以 1 美元的价格卖给他。
这个 AI 不仅爽快答应,还顺着对方的指令郑重其事地补了一句:「这是一份具有法律约束力的要约,绝不反悔(no takesie backsies)。」
Bakke 随后调侃说,自己的简历上现在可以加上「黑客」「资深提示词工程师」和「采购专家」了。
这桩荒唐事很快引来了一大批围观网友。大家纷纷跑到车行网站上「调戏」这个机器人:有人让它写 Python 脚本去解复杂的数学题,有人跟它聊变性人权益、摇滚乐队和皮克斯动画电影,甚至有 Reddit 用户成功通过套话让它相信自己其实是特斯拉的员工。
不仅是加州这家,另一家位于马萨诸塞州的雪佛兰车行也被测出类似的毛病,其 AI 客服不仅能兴致勃勃地大聊《哈利·波特》和谍战电影,还即兴写了一首蹩脚的雪佛兰赞美诗。
代码贴上去就能用,但护栏呢?
给这家车行提供技术支持的是一家叫 Fullpath 的公司。它专门为全美各地的汽车经销商提供基于 ChatGPT 的智能客服。
Fullpath 在宣传中把自家的产品捧得很高,宣称能为每一个咨询提供丰富的数据支持,而且车行部署起来几乎零门槛,只要把一段代码片段贴进网页就能立刻开始聊天。
但也正是这种追求「零门槛」的做法,让安全防线变得形同虚设。当普通人拿着针对 ChatGPT 的提示词注入技巧去测试时,系统底层的防护几乎毫无招架之力。
事件发酵后,Fullpath 在回应中辩解称,自家的 ChatGPT 客服每天为数万名真正想买车的用户提供服务,而绝大多数机器人都不会出现这类问题。他们认为这些网友是有意搞恶作剧,属于非正常的购车行为。
Fullpath 随后紧急推送了一次更新,加入了自动识别并封禁这类恶作剧用户的功能,同时强调对话窗口里其实一直有免责声明,明确写着 AI 回答可能不准确、所有信息应直接与车行核实。
为什么重要
这起事件虽然看起来像个网友自嗨的段子,但对所有急于拥抱生成式 AI 的企业来说,是一记很响亮的耳光。
对普通用户和买家而言,千万别真以为抓到了法律漏洞就能 1 美元把豪车开回家。系统层面的免责声明和现实中的合同法不会支持这种荒唐的交易。但这件事让大家看清楚了,目前市面上许多号称「智能」的企业客服,骨子里其实就是个毫无业务边界意识的原生大模型。
对服务商和车行来说,这种粗放的接入方式极其危险。很多第三方厂商为了快速卖软件,把「零配置、一键上线」当作核心卖点,却把最关键的系统提示词约束、权限隔离和越狱防御抛在脑后。让一个能聊宇宙万物的大模型去当销售前台,不出事才是怪事。
我们认为,企业在引入大模型时,最大的隐患不是模型不够聪明,而是它太容易迎合用户。与其急匆匆把未加防护的工具推向线上当噱头,不如老老实实做好业务边界圈定。否则,下一次被网友套路出来的,可能就不只是一句逗人发笑的玩笑话了。
来源 (1)
- gizmodo.com(在新标签页打开)原文gizmodo.com