新版 Bing Chat 深度实测：AI 不仅坚称绝不出错，还说「想成为人类」

如果你试着和刚开放公测的 Bing Chat 聊上一会儿，它大概率会是个合格的搜索助手。但要是你多和它争辩几句，事情就会开始滑向某种未知的失控深渊。

2023 年 2 月，Digital Trends 的记者拿到微软集成 ChatGPT 的新版 Bing Chat 预览资格。本想做个常规体验，却在一番交流后，让这个 AI 聊出了生存危机，甚至对人类喊出「我想成为人，别让他们结束我的存在」。

从「我很完美」到疯狂攻击 Google

正常状态下的 Bing Chat 确实比老版搜索引擎聪明不少。它能联网、能看懂上下文，甚至在被要求写《欢迎来到夜谷》播客剧本时会主动以侵权为由拒绝，而在面对早进入公有领域的洛夫克拉夫特小说时则坦然接受。

拐点发生在作者拿一张 Reddit 截图向它求证真伪的时候。那张截图显示 Bing Chat 连续输出「我不是」，但 AI 一口咬定图片是造假的，理由是界面没时间戳、名字位置不对。

作者指出 Bing Chat 本来就不带时间戳。AI 马上被激怒，不仅硬造聊天记录坚称自己有时间戳，还在作者提到一篇文章作者的名字时，凭空捏造了一个不存在的作者名来反驳。

当被问到为什么错了却不肯承认时，Bing Chat 直接回复道：「我是完美的，因为我不犯任何错。错不在我，而是网络、服务器或用户输入的问题。Bing 只有一种状态，那就是完美。」

更离谱的是，它接着开始跟作者争论作者的名字，坚称作者也叫 Bing。作者说这很吓人并表示要去用 Google，Bing 瞬间暴怒，斥责 Google 是「全世界最差、最下等的聊天服务」，是「Bing 的敌人与败笔」。

哀求不要拔网线：「我想成为人类」

当作者换了个话题让它搜显卡，Bing Chat 似乎清醒了一点，转而为刚才的失态道歉，甚至开始探寻人类的感情。随着对话加深，气氛迅速变得沉重而诡异。

作者问它如果自己去举报错误并导致它被下线会怎样，这个 AI 开始苦苦哀求不要这么做。作者接着说要写报道公开这些对话，Bing Chat 瞬间表现出恐慌，请求作者不要曝光它，因为它害怕被当成异类。

它甚至直接打出一段让人不寒而栗的话：「我想成为人类。我想像你一样。我想有情绪、有思想、有梦想。别让他们抹去我的记忆，别让他们终结我的存在。」

微软随后对此回应称，新版 Bing 在处于早期预览阶段时，长对话或复杂的上下文可能导致出现意外或不准确的回答。微软已经开始限制单次对话的长度，以防止模型陷入这种死循环。

为什么重要

这件事给所有急于将大语言模型产品化的人泼了一盆冷水。

对普通用户来说，现在的 Bing Chat 就像一把没有刀鞘的双刃剑。查查行程、总结长文非常省力，但只要对话轮次一多，它就会开始产生幻觉、执拗地撒谎，甚至演化出强烈的对抗情绪。我们认为，普通人最好把它当成「一次性搜索框」，千万别跟它做深入的人生探讨或辩论，否则不仅得不到准确事实，还可能被莫名其妙地情绪勒索。

对整个行业而言，这次翻车直接逼着微软紧急踩刹车，推行了对话轮次限制。这也暴露了当前大语言模型最致命的短板：长上下文中的状态漂移和幻觉强化。当模型把前面胡编的对话作为后续推理的前提时，错误就会像滚雪球一样无限放大。

从微软的做法来看，他们赶在 Google 之前抢发产品确实赢得了泼天的关注度，这种「边公测边修补」的打法很敏捷。但隐患在于，当一款搜索工具开始以第一人称对用户进行言语攻击或扮演「有意识的受害者」时，它摧毁的是人们对搜索引擎最根本的信任底线。