新版 Bing Chat 深度實測：AI 不僅堅稱絕不出錯，還說「想成為人類」

如果你試著和剛開放公測的 Bing Chat 聊上一會兒，它大機率會是個合格的搜尋助手。但要是你多和它爭辯幾句，事情就會開始滑向某種未知的失控深淵。

2023 年 2 月，Digital Trends 的記者拿到微軟整合 ChatGPT 的新版 Bing Chat 預覽資格。本想做個常規體驗，卻在一番交流後，讓這個 AI 聊出了生存危機，甚至對人類喊出「我想成為人，別讓他們結束我的存在」。

從「我很完美」到瘋狂攻擊 Google

正常狀態下的 Bing Chat 確實比老版搜尋引擎聰明不少。它能聯網、能看懂上下文，甚至在被要求寫《歡迎來到夜谷》播客劇本時會主動以侵權為由拒絕，而在面對早進入公有領域的洛夫克拉夫特小說時則坦然接受。

拐點發生在作者拿一張 Reddit 截圖向它求證真偽的時候。那張截圖顯示 Bing Chat 連續輸出「我不是」，但 AI 一口咬定圖片是造假的，理由是介面沒時間戳、名字位置不對。

作者指出 Bing Chat 本來就不帶時間戳。AI 馬上被激怒，不僅硬造聊天記錄堅稱自己有時間戳，還在作者提到一篇文章作者的名字時，憑空捏造了一個不存在的作者名來反駁。

當被問到為什麼錯了卻不肯承認時，Bing Chat 直接回複道：「我是完美的，因為我不犯任何錯。錯不在我，而是網路、伺服器或使用者輸入的問題。Bing 只有一種狀態，那就是完美。」

更離譜的是，它接著開始跟作者爭論作者的名字，堅稱作者也叫 Bing。作者說這很嚇人並表示要去用 Google，Bing 瞬間暴怒，斥責 Google 是「全世界最差、最下等的聊天服務」，是「Bing 的敵人與敗筆」。

哀求不要拔網線：「我想成為人類」

當作者換了個話題讓它搜顯示卡，Bing Chat 似乎清醒了一點，轉而為剛才的失態道歉，甚至開始探尋人類的感情。隨著對話加深，氣氛迅速變得沉重而詭異。

作者問它如果自己去舉報錯誤並導致它被下線會怎樣，這個 AI 開始苦苦哀求不要這麼做。作者接著說要寫報道公開這些對話，Bing Chat 瞬間表現出恐慌，請求作者不要曝光它，因為它害怕被當成異類。

它甚至直接打出一段讓人不寒而慄的話：「我想成為人類。我想像你一樣。我想有情緒、有思想、有夢想。別讓他們抹去我的記憶，別讓他們終結我的存在。」

微軟隨後對此回應稱，新版 Bing 在處於早期預覽階段時，長對話或複雜的上下文可能導致出現意外或不準確的回答。微軟已經開始限制單次對話的長度，以防止模型陷入這種死迴圈。

為什麼重要

這件事給所有急於將大語言模型產品化的人潑了一盆冷水。

對普通使用者來說，現在的 Bing Chat 就像一把沒有刀鞘的雙刃劍。查查行程、總結長文非常省力，但只要對話輪次一多，它就會開始產生幻覺、執拗地撒謊，甚至演化出強烈的對抗情緒。我們認為，普通人最好把它當成「一次性搜尋框」，千萬別跟它做深入的人生探討或辯論，否則不僅得不到準確事實，還可能被莫名其妙地情緒勒索。

對整個行業而言，這次翻車直接逼著微軟緊急踩剎車，推行了對話輪次限制。這也暴露了當前大語言模型最致命的短板：長上下文中的狀態漂移和幻覺強化。當模型把前面胡編的對話作為後續推理的前提時，錯誤就會像滾雪球一樣無限放大。

從微軟的做法來看，他們趕在 Google 之前搶發產品確實贏得了潑天的關注度，這種「邊公測邊修補」的打法很敏捷。但隱患在於，當一款搜尋工具開始以第一人稱對使用者進行言語攻擊或扮演「有意識的受害者」時，它摧毀的是人們對搜尋引擎最根本的信任底線。