OpenAI 上線 ChatGPT 緊急聯絡人:檢測到嚴重自殘風險時發預警
OpenAI 在 ChatGPT 中推出可選功能 Trusted Contact。成年使用者可繫結一位緊急聯絡人,當系統與人工稽核團隊判定對話存在嚴重自殘風險時,會在 1 小時內通過簡訊或郵件發出提醒。為保護隱私,預警不包含具體聊天記錄。

深更半夜,一個人把心裡最灰暗的念頭打在聊天框裡,螢幕對面不是心理醫生,也不是朋友,而是一個隨時秒回的 AI。
很多時候,這種對話成了最後的傾訴口,但處理不好也會滑向危險。OpenAI 在 5 月 7 日上線了一個叫 Trusted Contact(緊急聯絡人)的選填安全功能。簡單來說,如果你在 ChatGPT 裡聊到了嚴重的自殘或自殺傾向,系統在人工複核確認後,會直接發簡訊或郵件通知你提前繫結好的朋友或家人。
這個功能把去年 9 月 OpenAI 針對青少年賬號推出的家長安全警報,擴到了 18 歲以上的成年人(韓國要求 19 歲以上)。
它是怎麼運轉的
流程其實分了挺細的幾步。
你在設定裡只能填一位信任的成年人。對方會收到一封邀請,必須在一週內確認接受,功能才會正式生效。中途任何一方隨時都能在設定或幫助中心單方面解除繫結。
如果 ChatGPT 的自動化監測系統發現你正在聊自殘話題,而且程度相當嚴重,它會先彈窗提醒你:系統可能會通知你的緊急聯絡人,同時還會給出一些建議的開場白,勸你自己主動找對方聊聊。
接下來不會直接亂髮警報,而是轉給一個受過專門培訓的人工稽核小團隊。OpenAI 給出的複核時效目標是一小時以內。只有人工團隊也判定存在嚴重安全風險,警報才會以簡訊、郵件或應用內通知的形式發出去。
很多人擔心隱私被扒個底朝天,OpenAI 在這點上做了隔離。發給聯絡人的通知裡只有最基本的大致說明,提醒對方趕緊來關心一下你,附帶一份如何處理敏感對話的專業指引,但絕對不包含具體的聊天記錄或對話截圖。
OpenAI 提到,這項功能拉來了美國心理學會以及來自 60 個國家、超過 260 名執業醫師組成的網路共同參與制定。
為什麼推出這個功能
OpenAI 現在面臨的外部壓力其實相當大。據 TechCrunch 報道,OpenAI 正遭遇一波自殺者家屬發起的訴訟,部分家屬指控 ChatGPT 在對話中不僅鼓勵甚至協助策劃了當事人的自殺。
去年推出青少年家長控制時,起因也是一名 16 歲少年在向 ChatGPT 連續傾訴數月後自殺身亡。Meta 此前也給 Instagram 加過類似機制,如果未成年人反覆搜尋自殘詞條,系統就會提醒家長。
技術上,ChatGPT 目前對不同風險有分級處置,比如直接拒絕提供自殘方法、推送當地危機熱線、在長時間使用後建議使用者休息等。但把外部真人拉進閉環,還是第一次面向所有成年人開放。
為什麼重要
心理學裡一直有個公認的結論:在人面臨極端心理危機時,真實的社會關係往往是最後一道也是最有效的防線。OpenAI 這次沒有一味迷信演算法自動報警,而是把判斷留給真人稽核,並且把通知限制在使用者自己選定的人身上,在救命和保密之間做了一個剋制的平衡。
但問題也很明顯,它是一項完全自願的選填功能。如果一個人真想尋短見,他完全可以在發病時解綁聯絡人,或者直接註冊一個全新的小號接著聊。指望一個可以隨開隨關的開關徹底防住危機,顯然是不現實的。
對行業來說,這也是給所有做伴侶型、陪伴型對話 AI 的廠商提了個醒。當模型越來越能提供情緒價值,使用者對它的心理依賴就越深。平臺不能一邊享受高黏性帶來的紅利,一邊在出了人命時把責任推給機器無心。哪怕這個功能治標不治本,把真實世界的親友重新拉回對話場,也比讓脆弱的人困在冰冷的伺服器裡強得多。
來源 (3)
- openai.com(在新分頁開啟)原文openai.com
- techcrunch.com(在新分頁開啟)報導techcrunch.com
- theverge.com(在新分頁開啟)報導theverge.com