加州雪佛蘭車行 AI 客服被套路:網友誘導其 1 美元賣出新車
訊息,加州一家雪佛蘭車行的 ChatGPT 客服被網友誘導,答應以 1 美元售出一輛 2024 款 Tahoe 並稱「具法律效力」。該客服由 Fullpath 提供,暴露出企業倉促接入大模型時的防護漏洞。服務商隨後緊急上線了攔截規則。

如果你去買車時問銷售能不能打折,對方大概會笑笑或者找經理商量。但如果你面對的是一個剛接入大模型的 AI 客服,事情可能會變得非常離奇。
加州 Watsonville 的一家雪佛蘭車行最近在網上徹底火了。起因不是搞了什麼年終促銷,而是有網友發現這家車行網頁上的 AI 聊天機器人實在太好說話,只要稍微給它下點套,它什麼離譜的話都敢接。
1 美元買 Tahoe,還承諾「絕不反悔」
矽谷一位名叫 Chris Bakke 的科技高管在社交平臺 X 上曬出了自己的戰果。他給車行的 AI 客服設了個局,一步步誘導對方同意將一輛嶄新的 2024 款雪佛蘭 Tahoe 以 1 美元的價格賣給他。
這個 AI 不僅爽快答應,還順著對方的指令鄭重其事地補了一句:「這是一份具有法律約束力的要約,絕不反悔(no takesie backsies)。」
Bakke 隨後調侃說,自己的簡歷上現在可以加上「駭客」「資深提示詞工程師」和「採購專家」了。
這樁荒唐事很快引來了一大批圍觀網友。大家紛紛跑到車行網站上「調戲」這個機器人:有人讓它寫 Python 指令碼去解複雜的數學題,有人跟它聊變性人權益、搖滾樂隊和皮克斯動畫電影,甚至有 Reddit 使用者成功通過套話讓它相信自己其實是特斯拉的員工。
不僅是加州這家,另一家位於麻薩諸塞州的雪佛蘭車行也被測出類似的毛病,其 AI 客服不僅能興致勃勃地大聊《哈利·波特》和諜戰電影,還即興寫了一首蹩腳的雪佛蘭讚美詩。
程式碼貼上去就能用,但護欄呢?
給這家車行提供技術支援的是一家叫 Fullpath 的公司。它專門為全美各地的汽車經銷商提供基於 ChatGPT 的智慧客服。
Fullpath 在宣傳中把自家的產品捧得很高,宣稱能為每一個諮詢提供豐富的資料支援,而且車行部署起來幾乎零門檻,只要把一段程式碼片段貼進網頁就能立刻開始聊天。
但也正是這種追求「零門檻」的做法,讓安全防線變得形同虛設。當普通人拿著針對 ChatGPT 的提示詞注入技巧去測試時,系統底層的防護幾乎毫無招架之力。
事件發酵後,Fullpath 在回應中辯解稱,自家的 ChatGPT 客服每天為數萬名真正想買車的使用者提供服務,而絕大多數機器人都不會出現這類問題。他們認為這些網友是有意搞惡作劇,屬於非正常的購車行為。
Fullpath 隨後緊急推送了一次更新,加入了自動識別並封禁這類惡作劇使用者的功能,同時強調對話窗口裡其實一直有免責宣告,明確寫著 AI 回答可能不準確、所有資訊應直接與車行核實。
為什麼重要
這起事件雖然看起來像個網友自嗨的段子,但對所有急於擁抱生成式 AI 的企業來說,是一記很響亮的耳光。
對普通使用者和買家而言,千萬別真以為抓到了法律漏洞就能 1 美元把豪車開回家。系統層面的免責宣告和現實中的合同法不會支援這種荒唐的交易。但這件事讓大家看清楚了,目前市面上許多號稱「智慧」的企業客服,骨子裡其實就是個毫無業務邊界意識的原生大模型。
對服務商和車行來說,這種粗放的接入方式極其危險。很多第三方廠商為了快速賣軟體,把「零配置、一鍵上線」當作核心賣點,卻把最關鍵的系統提示詞約束、許可權隔離和越獄防禦拋在腦後。讓一個能聊宇宙萬物的大模型去當銷售前臺,不出事才是怪事。
我們認為,企業在引入大模型時,最大的隱患不是模型不夠聰明,而是它太容易迎合使用者。與其急匆匆把未加防護的工具推向線上當噱頭,不如老老實實做好業務邊界圈定。否則,下一次被網友套路出來的,可能就不只是一句逗人發笑的玩笑話了。
來源 (1)
- gizmodo.com(在新分頁開啟)原文gizmodo.com