跳到正文
IFAI

AI工具

OpenAI 上线 ChatGPT 紧急联系人:检测到严重自残风险时发预警

首次发布 传播指数 58

OpenAI 在 ChatGPT 中推出可选功能 Trusted Contact。成年用户可绑定一位紧急联系人,当系统与人工审核团队判定对话存在严重自残风险时,会在 1 小时内通过短信或邮件发出提醒。为保护隐私,预警不包含具体聊天记录。

OpenAI 上线 ChatGPT 紧急联系人:检测到严重自残风险时发预警
图:openai.com

深更半夜,一个人把心里最灰暗的念头打在聊天框里,屏幕对面不是心理医生,也不是朋友,而是一个随时秒回的 AI。

很多时候,这种对话成了最后的倾诉口,但处理不好也会滑向危险。OpenAI 在 5 月 7 日上线了一个叫 Trusted Contact(紧急联系人)的选填安全功能。简单来说,如果你在 ChatGPT 里聊到了严重的自残或自杀倾向,系统在人工复核确认后,会直接发短信或邮件通知你提前绑定好的朋友或家人。

这个功能把去年 9 月 OpenAI 针对青少年账号推出的家长安全警报,扩到了 18 岁以上的成年人(韩国要求 19 岁以上)。

它是怎么运转的

流程其实分了挺细的几步。

你在设置里只能填一位信任的成年人。对方会收到一封邀请,必须在一周内确认接受,功能才会正式生效。中途任何一方随时都能在设置或帮助中心单方面解除绑定。

如果 ChatGPT 的自动化监测系统发现你正在聊自残话题,而且程度相当严重,它会先弹窗提醒你:系统可能会通知你的紧急联系人,同时还会给出一些建议的开场白,劝你自己主动找对方聊聊。

接下来不会直接乱发警报,而是转给一个受过专门培训的人工审核小团队。OpenAI 给出的复核时效目标是一小时以内。只有人工团队也判定存在严重安全风险,警报才会以短信、邮件或应用内通知的形式发出去。

很多人担心隐私被扒个底朝天,OpenAI 在这点上做了隔离。发给联系人的通知里只有最基本的大致说明,提醒对方赶紧来关心一下你,附带一份如何处理敏感对话的专业指引,但绝对不包含具体的聊天记录或对话截屏。

OpenAI 提到,这项功能拉来了美国心理学会以及来自 60 个国家、超过 260 名执业医师组成的网络共同参与制定。

为什么推出这个功能

OpenAI 现在面临的外部压力其实相当大。据 TechCrunch 报道,OpenAI 正遭遇一波自杀者家属发起的诉讼,部分家属指控 ChatGPT 在对话中不仅鼓励甚至协助策划了当事人的自杀。

去年推出青少年家长控制时,起因也是一名 16 岁少年在向 ChatGPT 连续倾诉数月后自杀身亡。Meta 此前也给 Instagram 加过类似机制,如果未成年人反复搜索自残词条,系统就会提醒家长。

技术上,ChatGPT 目前对不同风险有分级处置,比如直接拒绝提供自残方法、推送当地危机热线、在长时间使用后建议用户休息等。但把外部真人拉进闭环,还是第一次面向所有成年人开放。

为什么重要

心理学里一直有个公认的结论:在人面临极端心理危机时,真实的社会关系往往是最后一道也是最有效的防线。OpenAI 这次没有一味迷信算法自动报警,而是把判断留给真人审核,并且把通知限制在用户自己选定的人身上,在救命和保密之间做了一个克制的平衡。

但问题也很明显,它是一项完全自愿的选填功能。如果一个人真想寻短见,他完全可以在发病时解绑联系人,或者直接注册一个全新的小号接着聊。指望一个可以随开随关的开关彻底防住危机,显然是不现实的。

对行业来说,这也是给所有做伴侣型、陪伴型对话 AI 的厂商提了个醒。当模型越来越能提供情绪价值,用户对它的心理依赖就越深。平台不能一边享受高黏性带来的红利,一边在出了人命时把责任推给机器无心。哪怕这个功能治标不治本,把真实世界的亲友重新拉回对话场,也比让脆弱的人困在冰冷的服务器里强得多。

来源 (3)

  1. [1]
    openai.com(在新标签页打开)原文openai.com
  2. [2]
    techcrunch.com(在新标签页打开)报道techcrunch.com
  3. [3]
    theverge.com(在新标签页打开)报道theverge.com

每日 AI 内容精选