跳到正文
IFAI

AI科研

GPT-4.5 通过图灵测试:加上人设后,73% 的时间被当成真人

首次发布 传播指数 43

据预印本研究,加州大学圣地亚哥分校测试发现,OpenAI 的 GPT-4.5 在设定特定人设后,有 73% 的概率被人类裁判当成真人,甚至比真正人类更像人。不过去掉人设后胜率骤降至 36%,研究者提醒这更证明 AI 具备极强的短期伪装欺骗能力。

GPT-4.5 通过图灵测试:加上人设后,73% 的时间被当成真人
图:futurism.com

过去七十多年里,AI 圈总喜欢把图灵测试挂在嘴边,当成衡量机器有没有人类智能的终极标尺。谁也没想到,这项测试被彻底攻破的这一天,AI 靠的不是高深的数理推导,而是学会了装成一个懂网梗的年轻人。

加州大学圣迭戈分校的语言与认知实验室最近公布了一项预印本研究。研究人员组织了近 300 名受试者,严格复刻了阿兰·图灵在 1950 年提出的经典三方模仿游戏。

规则很简单:人类裁判同时与一个真人和一个 AI 匿名文字聊天 5 分钟,最后猜谁才是真人。结果显示,当 OpenAI 的 GPT-4.5 被要求带上具体人设时,被人类裁判当成真人的比例高达 73%,不仅远超 50% 的随机概率,甚至被认作人类的频率比真正的受试者还要高。

装上人设,胜率直接翻倍

这项测试横向对比了四个模型,包括 OpenAI 的 GPT-4.5 和 GPT-4o、Meta 的开源大模型 LLaMA 3.1-405B,以及大约八十年前开发的古董级聊天程序 ELIZA。

有意思的是,AI 能不能骗过人类,全看提问前给它塞了什么提示词。

如果只给基础指令,告诉 AI 这是一个图灵测试、尽力说服对方自己是人类,GPT-4.5 的成功率只有 36%。目前支撑日常 ChatGPT 体验的 GPT-4o 更是只有 21% 的胜率,甚至还不如古老的 ELIZA,后者反而拿到了 23%。

但一旦给模型加上具体人设,比如让它扮演一个熟悉互联网文化和流行趋势的年轻人,局面立刻反转。GPT-4.5 的胜率一路狂飙到 73%;Meta 的 LLaMA 3.1-405B 也拿到了 56% 的胜率,完全达到了让裁判难以分辨的水平。

裁判不考高数,只聊柴米油盐

很多人以为图灵测试会变成智力问答,但实际对话记录显示,超过 60% 的交流全在聊日常生活、个人琐事和情绪反应。

裁判们几乎不问复杂的逻辑题或百科知识,而是试图通过生活化的闲聊来抓 AI 的破绽。但大语言模型本就吞噬了全人类的海量文本,在闲聊和装腔作势上早已炉火纯青。

论文一作 Cameron Jones 在社交平台上表示,这是首次有机器系统在标准的三方图灵测试中取得实证突破。但他也坦承,这并不意味着 AI 真的拥有了人类的心智。

Google 软件工程师 François Chollet 之前接受《自然》采访时就提醒过,图灵测试在提出时更像是一个思想实验,从来不是为了给机器做硬性跑分而设计的。

为什么重要

从技术评估的角度看,这项研究把图灵测试从神坛上拉了下来。过去几十年整个行业都把它当成通用人工智能的及格线,但现在事实证明,大语言模型只要模仿得够像、套一个懂梗的人设,就能轻松越过这条线。换句话说,图灵测试测出来的不是真正的理解与思考,而是高超的模仿技巧。

对普通人和企业来说,真正的警钟在于短时间交互的信任崩塌。既然在 5 分钟的日常文字交流里,有超过七成的人会把 AI 当成真人,那么电话客服、招聘初筛乃至各类社交场景中,人类替身已经具备了落地的隐蔽性。

我们认为,这也是这套成果最危险的隐患所在。门槛一旦被踏平,针对个人的社会工程学诈骗、网络钓鱼和水军制造虚假舆论的成本将被打到极低。当机器能比真人显得更有人味时,传统的身份鉴别手段几乎宣告失效,未来如何验证屏幕另一端到底是不是活人,会变成全社会不得不面对的硬课题。

来源 (2)

  1. [1]
    futurism.com(在新标签页打开)原文futurism.com
  2. [2]
    arxiv.org(在新标签页打开)报道arxiv.org

每日 AI 内容精选