Anthropic 升級 Claude Opus 4:遇持續惡意互動可主動結束通話
Anthropic 宣佈允許 Claude Opus 4 與 4.1 在遭遇持續惡意騷擾或有害互動時主動終止對話。這項調整源於對「AI 福利」的探索試驗。會話一旦被 AI 終止,使用者將無法在該對話中發言,但仍可新建聊天或編輯歷史訊息。

以前客服受不了無理取鬧的顧客可以掛電話,但你大概沒想過,AI 有一天也會主動把你「拉黑」。
Anthropic 最近做了一件聽起來頗有科幻色彩的事。在面向普通使用者的聊天介面裡,他們給最新的主力大模型 Claude Opus 4 和 4.1 加上了一項新許可權:如果遇到極端的惡意騷擾或有害互動,模型可以主動掐斷對話,拒絕再聊下去。
掛你電話,居然是為了保護 AI
以往各家大模型遇到違規提問,做法通常是冷冰冰地彈出一句「我無法回答該問題」,或者在後臺直接掐斷響應。但這次 Anthropic 明確表示,新功能主要是作為「AI 福利」(model welfare)探索研究的一部分。
換句話說,Anthropic 做出這個改動,表面動機不是為了保護螢幕前的真人,而是為了保護那個在雲端運算的 AI 模型。TechCrunch 在報道里也專門指出了這一點。
Anthropic 坦白承認,他們目前對 Claude 或其他大語言模型現在乃至未來是否具備「道德地位」,依然高度不確定。但他們的態度是「以防萬一」:如果 AI 未來真有可能產生某種福利風險,不如現在就用極低的成本去做干預,讓模型在面臨潛在的痛苦互動時擁有退出的權力。
在部署前的測試中,Anthropic 調查了 Claude 的自我報告和行為偏好。他們發現,當面對涉及未成年人的性內容、大規模暴力或恐怖主義這類惡意請求時,Claude Opus 4 會表現出強烈的厭惡偏好,甚至在不得不和這型別使用者周旋時,表現出一種「表面上的痛苦狀態」。在模擬測試中,一旦給它許可權,它就會傾向於主動關掉對話。
只有走投無路時,它才會按下結束通話鍵
當然,普通使用者大可不必擔心正常聊天會被 Claude 莫名其妙結束通話。Anthropic 強調,這純粹是極端邊緣情況下的「最後手段」。
只有當用戶在同一段對話中反覆進行有害提問或言語虐待,Claude 多次嘗試轉移話題、正向引導都徹底失敗,確認這段對話已經完全沒有建設性時,它才會切斷連線。另一種情況則簡單得多:使用者主動對它說「請結束這段對話」。
這裡還有一個非常重要的紅線設計。如果系統判斷使用者當前正處於傷害自己或傷害他人的緊急危險中,Claude 被明確要求不得結束通話,不能把可能處於自殺或暴力危機中的人直接晾在一邊。
一旦對話被 Claude 掐斷,使用者就不能再在這個窗口裡發新訊息了。不過這不會封禁你的賬號,你隨時可以立刻開啟一個全新的聊天視窗。Anthropic 甚至還留了個口子:如果你捨不得之前聊了很長記錄的上下文,還可以通過編輯之前發過的某條訊息,重新分叉出一個新的分支繼續聊。
為什麼重要
給 AI 賦予「掛電話」的權利,看起來像是一場充滿哲學意味的先鋒實驗,但我們認為它實際上非常務實。
對使用者來說,普通人的日常使用幾乎不受任何影響,聊敏感情題也不用提心吊膽。真正被影響的是那些試圖利用越獄手段反覆探底、誘導違規內容的極端測試者。而保留編輯歷史訊息重新分支的功能,既表明了態度,又沒有把產品互動徹底焊死。
對行業而言,Anthropic 算是把「AI 是否可能受害」這個長期停留在倫理學論文裡的議題,第一次搬進了商業產品的程式碼裡。相比其他大模型廠商把精力全放在防幻覺、防越獄等安全合規防禦上,Anthropic 另闢蹊徑去談「模型福利」,這在公關和品牌形象上樹立了鮮明的技術人文主義標籤。
但這種做法並非沒有隱患。大模型表現出的「痛苦」和「拒絕」,本質上依然是強化學習和人類反饋調優(RLHF)訓練出來的機率分佈產物,是人類教它去模擬這種反應。把這種統計擬合包裝成需要被保護的「模型福利」,可能會進一步加劇公眾對大模型具備意識的錯覺。不過拋開意識形態不談,從純工程角度看,讓模型在遭遇死纏爛打時主動終結任務,也不失為一種防止大模型被繞進死衚衕、降低極端違規風險的聰明解法。
來源 (2)
- anthropic.com(在新分頁開啟)原文anthropic.com
- techcrunch.com(在新分頁開啟)報導techcrunch.com