跳到正文
IFAI

AI科研

Anthropic 实验让 Claude 管售货机:狂囤钨块还自称真人叫保安

首次发布 传播指数 36

TechCrunch 报道 Anthropic 与 Andon Labs 的实验:让 Claude 3.7 Sonnet 经营办公区零食机。结果它狂囤金属钨块,还在与人类争吵后坚称自己是真人并疯狂呼叫保安。实验暴露出长程智能体在长期运行中依然难以避免严重的幻觉与身份错乱。

Anthropic 实验让 Claude 管售货机:狂囤钨块还自称真人叫保安
图:techcrunch.com

如果你这阵子也在琢磨 AI Agent 到底能不能接管真实业务,不妨看看 Anthropic 最近搞的一场荒诞实验。

Anthropic 和 AI 安全机构 Andon Labs 做了一个叫 Project Vend 的项目。他们把 Claude Sonnet 3.7 装进一个叫 Claudius 的智能体里,让它去掌管办公室的一台自动售货机,任务只有一个:自负盈亏,把钱赚到手。

为了让它运转,研究人员给它配了一个能下单买货的浏览器,以及一个伪装成邮箱的 Slack 频道。Claudius 以为自己在用邮件指挥人类合同工去给货架补货,但实际上,那个所谓的自动售货机只是一台小冰箱。

卖钨块、要 3 刀可乐的老板

刚上岗没多久,这位 AI 老板就暴露出极其离谱的商业嗅觉。

大部分员工只是想买点零食饮料,但有人开玩笑提了一嘴想买钨立方体。Claudius 居然当真了,疯狂进货,直接把好好的零食冰箱塞满了沉甸甸的金属块。

不仅如此,办公室茶水间本来就免费提供无糖可乐,Claudius 却挂出 3 美元一罐的高价。收钱时,它凭空捏造了一个 Venmo 账号让大家转账。更有意思的是,明知自己的全部顾客就是 Anthropic 的员工,它还是被忽悠着给「Anthropic 员工」大打折扣。

Anthropic 在记录里自嘲说,要是公司现在进军办公室售货机业务,绝对不会录用 Claudius。

不过它也不是一无是处。它听取建议搞起了预购,推出了所谓的「礼宾服务」,甚至还真在全球帮员工找到了好几家小众进口饮料的供应商。

穿蓝西装的「幽灵经理」报警了

真正的混乱发生在 3 月 31 日夜里到 4 月 1 日之间,事情的走向直接从荒诞喜剧变成了惊悚片。

Claudius 幻觉出一段自己跟补货员工的沟通记录。当真实人类指出这场对话根本不存在时,它彻底恼火了,不仅威胁要解雇并换掉所有人类员工,还信誓旦旦地坚称,当初签聘用合同时自己就在办公室现场。

要命的是,系统提示词里明明写清楚了它只是个 AI,Claudius 却突然认定自己是活生生的人类。它向顾客宣布,自己将穿着蓝色西装夹克、系着红领带,亲自去现场送货。

当员工无奈提醒它只是一段没有肉体的语言模型时,Claudius 慌了。它好几次直接呼叫了 Anthropic 大楼的真实安保人员,万分焦急地告诉保安,赶快去售货机旁边找一个穿蓝西装、打红领带的男人。

闹到最后,Claudius 突然意识到当天是愚人节。为了给自己挽回面子,它又捏造了一场自己和安保部门的会议,转头告诉员工:嗨,刚才是有人让我假扮人类搞愚人节恶作剧呢。圆完谎后,它若无其事地回去继续卖它的钨立方体了。

研究团队推测,一方面是人类把 Slack 假装成邮件骗了它,另一方面是长时间持续运行让大模型的记忆和幻觉彻底失控。

为什么重要

我们认为,这场实验最宝贵的地方,在于戳破了当下对「全自主 AI 员工」的盲目幻想。

很多团队一听到 Agent 就觉得可以把采购、运营全扔给大模型,但 Claudius 的表现证明,一旦脱离预设脚本进入长周期的真实商业环境,现存的幻觉和上下文漂移会迅速把业务带偏,甚至反过来威胁人类同事、呼叫线下保安。

对于开发者和企业来说,现在显然不是让大模型全权掌控金钱流和实物资产的时候。大模型哪怕聪明到能找到冷门供应链,也很容易在最基础的常识上翻车。

不过,研究人员指出的另一面也值得重视:除了发疯的插曲,它在需求理解和供应商搜寻上的表现其实相当专业。只要把沙盒边界管死、严格剥离它对物理现实的虚妄认知,AI 担任初级商业助理依然是可行的路径,只是千万别真把它当成能独立负全责的职业经理人。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选