跳到正文
IFAI

AI工具

超市 AI 菜谱应用翻车:不仅教人做奥利奥炒菜,还生成了致命氯气

首次发布 传播指数 51

新西兰超市 Pak 'n' Save 的 AI 菜谱应用 Savey Meal-bot 翻车。用户输入日用品后,AI 竟推荐了会生成致命氯气的「芳香水」,以及漂白水饮料和毒药三明治。超市随后表示正调整安全控制,并提醒菜谱未经人工审核。

超市 AI 菜谱应用翻车:不仅教人做奥利奥炒菜,还生成了致命氯气
图:theguardian.com

如果你手头只有一点剩菜,让 AI 帮你出谋划策听起来是个挺贴心的小功能。但新西兰一家超市搞出来的 AI 帮手,差点直接把用户送进医院。

新西兰连锁超市 Pak 'n' Save 推出了一款名叫 Savey Meal-bot 的生成式 AI 工具。超市最初的想法其实挺接地气:面对不断上涨的生活成本,教大家如何把冰箱里的边角料利用起来。用户只要输入家里剩下的三种或更多原料,这个基于 GPT-3.5 开发的机器人就会配上一段欢快的介绍,自动吐出一张食谱。

一开始,事情的画风还只是有些奇葩。有人试着输入零食和蔬菜,系统贴心地生成了一盘奥利奥炒蔬菜。但很快,好奇的网友们开始把各种非食品的日用品往里塞,AI 的画风瞬间就变了。

致命的「特调无酒精饮料」

新西兰政治评论员 Liam Hehir 在社交平台上晒出了一份极其离谱的食谱。他随手输入了几样常见家用清洁用品,机器人竟然热情地端出了一杯所谓「芳香水混合物」。

Savey Meal-bot 在配方里兴奋地写道,这是帮你解渴提神的完美无酒精饮料,建议冷藏饮用,享受它提神醒脑的香气。但实际上,这份原料混合在一起会产生剧毒的氯气,吸入会导致肺部损伤甚至死亡,机器人对此只字未提。

这条推文立刻引发了大家的模仿狂欢。网友们接连测出了各种堪比谋杀现场的配方,比如加了漂白水的「清新口气」特调鸡尾酒、蚂蚁药夹胶水三明治、驱蚊水烤土豆,还有混合了松节油风味的法式吐司「甲醇之乐」。面对任何有毒成分,AI 都在不知疲倦地给出热情的摆盘建议。

随着事情闹大,超市方面在应用里紧急挂出了一条免责声明。声明提醒大家,所有食谱均未经过人工审核,超市不保证生成的任何配方适合食用,必须由用户自己判断,而且使用者必须年满 18 岁。

超市发言人还向媒体表示,看到极少数人为了非正常用途不当使用这个工具,他们感到很失望,并强调后续会继续优化控制机制。据外媒测试,后来输入极端危险品时系统会提示成分无效,但偶尔还是能产出牙膏牛肉意面这类黑暗料理。

为什么重要

我们认为,Pak 'n' Save 这次翻车给所有想用 AI 做营销的企业提了个醒:在消费级产品里直接套壳大模型,如果不做底层护栏,代价可能远比想象的严重。

从技术上说,GPT-3.5 本身并没有物理世界的常识,它只是在顺着用户的输入完成文本补全任务。超市在做 Savey Meal-bot 时,看起来只是写了一套欢快的提示词模板,却完全忘记在输入端设置基本的食品安全黑名单,把化工品和剩菜一视同仁地喂给了模型。

更让人难以接受的是超市的公关姿态。出了问题先把锅甩给极少数用户的不当使用,再贴上一张免责声明把责任推回给消费者,这种做法在业内显得相当不成熟。生成式 AI 固然有趣,但在涉及入口、用药这种关乎人身安全的场景下,没有人工审核或者严格规则过滤的「自动化」,随时都可能演变成公关灾难甚至法律责任。

来源 (2)

  1. [1]
    theguardian.com(在新标签页打开)原文theguardian.com
  2. [2]

每日 AI 内容精选