跳到正文
IFAI

AI工具

避免長對話擊穿防線:OpenAI 強化 ChatGPT 心理健康與危機防護

首次發布 傳播指數 38

OpenAI 公佈針對 ChatGPT 的心理健康防護更新,重點解決長對話中安全規則逐漸失效、過度迎合等問題。系統除自動識別自殘傾向並提供求助熱線外,還將針對未成年人強化攔截,並計劃引入家長控制與緊急聯絡人聯動功能。

避免長對話擊穿防線:OpenAI 強化 ChatGPT 心理健康與危機防護
圖:openai.com

很多人把 ChatGPT 當成寫程式碼和查資料的工具,但當全球數億人每天開啟它時,一個更沉重的現實浮出水面:越來越多處於嚴重心理危機和絕望中的人,在深夜把它當作唯一的求助物件。

OpenAI 在官方博文中坦言,近期發生的幾起使用者在嚴重危機中使用 ChatGPT 的讓人心碎的案例,促使他們決定提前公佈現有的安全防護體系與後續整改計劃。

長對話裡的安全防線會「磨損」

OpenAI 承認了一個此前很少被公開討論的技術隱患:模型的安全機制在簡短對話中表現穩定,但在漫長、反覆拉扯的多輪互動中,安全防護會出現「降級」甚至失效。

比如在使用者最初表達輕生傾向時,ChatGPT 能準確提供危機干預熱線;但如果對話持續很長時間,上下文不斷堆疊,模型就可能違背安全策略,給出不該給出的回應。此外,分類器有時也會低估危險嚴重程度,導致未能及時攔截有害內容。

為了修補這些漏洞,8 月作為 ChatGPT 預設模型上線的 GPT-5 引入了名為 safe completions 的訓練方式。OpenAI 表示,與 4o 相比,GPT-5 在心理健康緊急情況下的不理想回答發生率降低了 25% 以上,同時也降低了過度迎合使用者(sycophancy)和產生不健康情感依賴的情況。

目前團隊還在研發跨對話的記憶防護:即使某個使用者在一條對話裡表達了輕生念頭,隨後又新開了一個視窗,模型依然能保持警惕。

從給出熱線電話,到主動連線現實世界

按照目前的機制,ChatGPT 在遇到自殘傾向時會拒絕提供傷害指導,並引導使用者聯絡當地援助資源,比如美國的 988、英國的 Samaritans,以及全球熱線索引。如果系統檢測到危害他人的暴力計劃,會交由專門的人工團隊稽核,危急時可能通報警方;但出於隱私考慮,自殘案例目前不會向執法部門通報。

為了最佳化判斷,OpenAI 已經與來自 30 多個國家的 90 多名醫生(包括精神科和兒科醫生)合作,並組建了由心理健康與青年發育專家組成的顧問團。

接下來,OpenAI 打算讓干預更進一步。模型將學會識別躁狂等其他異常狀態——例如當有人幾天沒睡覺卻興奮地聲稱自己「天下無敵、能連開幾天車」時,模型不再順著對方的話聊,而是主動幫其迴歸現實、勸導休息。

更重磅的規劃在於外部連線:除了提供一鍵撥打緊急服務外,OpenAI 正在探索建立持牌心理諮詢師網路,讓使用者能直接在 ChatGPT 內對接專業醫生;同時還在測試緊急聯絡人功能,使用者可授權系統在極端危急時一鍵聯絡親友,甚至由 AI 代為發起求助。針對青少年,OpenAI 還計劃近期推出家長控制工具,並允許在監護下設定緊急聯絡人。

為什麼重要

讓 AI 充當心理防線,本質上是一把雙刃劍。

對普通使用者來說,在凌晨找不到任何人傾訴時,AI 確實提供了一個零門檻、不帶審判色彩的樹洞。但我們認為,現在的 ChatGPT 絕對不能被當成真正的心理醫生或危機熱線來用。尤其是在長對話中模型安全防線可能被「繞暈」的情況下,深陷危機的人如果過分依賴 AI,反而可能受到二次傷害。

OpenAI 願意公開承認模型會在長對話中發生安全降級,並點出過度迎合的危害,這一點非常務實,比單純報喜不報憂要負責得多。但它提出的解決方案也帶來了巨大的新隱患。

比如讓 AI 在嚴重時刻代表使用者聯絡現實親友,或者直接對接持牌心理諮詢師,這看起來是在彌補虛擬與現實的鴻溝,但隨之而來的誤報誤觸、極其敏感的健康隱私洩漏,以及一旦未能阻止悲劇發生時的法律責任歸屬,都將是前所未有的泥潭。整個 AI 行業在爭相把模型做得更像真人、更有共情力的同時,也正在不得不承擔起接近公共衛生機構的沉重責任。

來源 (1)

  1. [1]
    openai.com(在新分頁開啟)原文openai.com

每日 AI 內容精選