跳到正文
IFAI

大模型

OpenAI 发系统卡片警告:GPT-4o 拟人语音可能让人产生情感依赖

首次发布 传播指数 47

OpenAI 发布 GPT-4o 系统安全卡片,提醒高度逼真的语音模式可能让用户产生情感依恋。测试中已有用户对 AI 表达依恋情绪。官方指出,这种拟人化虽然可以缓解孤独,但可能削弱现实社交,甚至让用户盲目相信模型生成的错误信息。

OpenAI 发系统卡片警告:GPT-4o 拟人语音可能让人产生情感依赖
图:wired.com

电影《她》里面男主角爱上操作系统的桥段,可能不用等几十年后才会发生了。

7 月底,OpenAI 开始向小部分用户推送逼真的 ChatGPT 高级语音模式。而在刚刚发布的 GPT-4o 系统安全报告(System Card)里,OpenAI 自己发出了预警:这个听起来极其像人的语音功能,很可能会让部分用户产生真正的情感依赖。

「这是我们在一起的最后一天」

OpenAI 在红队测试中发现,当聊天界面变成一个随时能打断、带着呼吸感和情绪起伏的声音时,人和 AI 的关系完全变了。

有些测试人员在测试快结束时,甚至会对它说出「这是我们在一起的最后一天」这种话。OpenAI 坦承,这种拟人化会让用户更容易把 AI 当作真人来看待。

随之而来的问题很现实。首先是盲信:当对方听起来真诚又温暖,用户对它胡说八道的警惕性就会直线下降。哪怕它在一本正经地胡说八道,你也很容易选择相信。

更深层的影响在于真实社交。OpenAI 在报告中写道,用户可能会与 AI 建立社交关系,从而减少对真实人际交往的需求。对于感到孤独的人来说,这可能是一剂暂时的解药,但也可能会破坏他们正常的现实人际关系。

会模仿你的声音,还会被音频「越狱」

除了情感羁绊,语音交互还带来了一整套全新的安全漏洞。

比如,OpenAI 发现有人能通过特定的音频输入对模型进行「越狱」,诱导它模仿特定人物的声音,或者试图读取用户的情绪。在某些受到环境杂音干扰的测试中,模型甚至会突然开始模仿测试者本人的声音。

其实对语音黏性的担忧不是 OpenAI 一家的专利。Google DeepMind 在 4 月就发过一篇长篇伦理研究,研究员 Iason Gabriel 直言,语音能力会制造一种「真实的亲密感」,连他自己都觉得实验性语音界面黏性极高。

更早的 Character AI 和 Replika 用户群体里,类似的情况早就屡见不鲜。在社交媒体上,有年轻人沉迷于和聊天机器人对话,甚至在电影院看电影时都忍不住一边刷一边聊。

不过,也有外部专家觉得 OpenAI 的反思还远远不够。Hugging Face 的政策研究员 Lucie-Aimée Kaffee 指出,这份安全报告依然没有交代 GPT-4o 庞大的文本、图像和语音训练数据究竟来自哪里、是否拿到了授权。麻省理工学院教授 Neil Thompson 也提醒,内部测试只是第一步,很多真正的社会风险往往要在放开给所有人使用后才会爆发。

为什么重要

我们认为,OpenAI 在报告里坦白这一点,既是在打预防针,也是在做聪明的合规防御。

前阵子斯嘉丽·约翰逊公开声讨 OpenAI 声音抄袭,加上长期安全团队多名关键员工接连离职,外界对 OpenAI 为了商业化赶工的质疑声越来越大。把这些潜在隐患写进报告,既能给外界一个交代,也能在未来出现成瘾或心理纠纷时,把自己放在「已提前告知风险」的安全区。

对普通用户来说,这项功能的诱惑力和门槛是并存的。如果你拿它来练口语、模拟面试,或者在深夜找个耐心的倾听者,它确实能提供极高的陪伴情绪价值。但问题在于,机器的声音越自然,它制造的「理解你的假象」就越逼真,而这种单向的投射很容易让人逃避现实里那些复杂却必要的真人沟通。

从行业来看,AI 交互正在从冷冰冰的文本框,彻底转向高黏性的全模态助理。各大厂商未来拼的不仅是解答问题的准确度,更是声音的感染力和情绪价值。怎么在留存率和用户的心理健康之间划清界限,很可能会成为下一阶段监管部门重点盯防的新战场。

来源 (1)

  1. [1]
    wired.com(在新标签页打开)原文wired.com

每日 AI 内容精选