跳到正文
IFAI

AI科研

GPT-4.5 通過圖靈測試:加上人設後,73% 的時間被當成真人

首次發布 傳播指數 43

據預印本研究,加州大學聖地亞哥分校測試發現,OpenAI 的 GPT-4.5 在設定特定人設後,有 73% 的機率被人類裁判當成真人,甚至比真正人類更像人。不過去掉人設後勝率驟降至 36%,研究者提醒這更證明 AI 具備極強的短期偽裝欺騙能力。

GPT-4.5 通過圖靈測試:加上人設後,73% 的時間被當成真人
圖:futurism.com

過去七十多年裡,AI 圈總喜歡把圖靈測試掛在嘴邊,當成衡量機器有沒有人類智慧的終極標尺。誰也沒想到,這項測試被徹底攻破的這一天,AI 靠的不是高深的數理推導,而是學會了裝成一個懂網梗的年輕人。

加州大學聖迭戈分校的語言與認知實驗室最近公佈了一項預印本研究。研究人員組織了近 300 名受試者,嚴格復刻了阿蘭·圖靈在 1950 年提出的經典三方模仿遊戲。

規則很簡單:人類裁判同時與一個真人和一個 AI 匿名文字聊天 5 分鐘,最後猜誰才是真人。結果顯示,當 OpenAI 的 GPT-4.5 被要求帶上具體人設時,被人類裁判當成真人的比例高達 73%,不僅遠超 50% 的隨機機率,甚至被認作人類的頻率比真正的受試者還要高。

裝上人設,勝率直接翻倍

這項測試橫向對比了四個模型,包括 OpenAI 的 GPT-4.5 和 GPT-4o、Meta 的開源大模型 LLaMA 3.1-405B,以及大約八十年前開發的古董級聊天程式 ELIZA。

有意思的是,AI 能不能騙過人類,全看提問前給它塞了什麼提示詞。

如果只給基礎指令,告訴 AI 這是一個圖靈測試、盡力說服對方自己是人類,GPT-4.5 的成功率只有 36%。目前支撐日常 ChatGPT 體驗的 GPT-4o 更是隻有 21% 的勝率,甚至還不如古老的 ELIZA,後者反而拿到了 23%。

但一旦給模型加上具體人設,比如讓它扮演一個熟悉網際網路文化和流行趨勢的年輕人,局面立刻反轉。GPT-4.5 的勝率一路狂飆到 73%;Meta 的 LLaMA 3.1-405B 也拿到了 56% 的勝率,完全達到了讓裁判難以分辨的水平。

裁判不考高數,只聊柴米油鹽

很多人以為圖靈測試會變成智力問答,但實際對話記錄顯示,超過 60% 的交流全在聊日常生活、個人瑣事和情緒反應。

裁判們幾乎不問複雜的邏輯題或百科知識,而是試圖通過生活化的閒聊來抓 AI 的破綻。但大語言模型本就吞噬了全人類的海量文本,在閒聊和裝腔作勢上早已爐火純青。

論文一作 Cameron Jones 在社交平臺上表示,這是首次有機器系統在標準的三方圖靈測試中取得實證突破。但他也坦承,這並不意味著 AI 真的擁有了人類的心智。

Google 軟體工程師 François Chollet 之前接受《自然》採訪時就提醒過,圖靈測試在提出時更像是一個思想實驗,從來不是為了給機器做硬性跑分而設計的。

為什麼重要

從技術評估的角度看,這項研究把圖靈測試從神壇上拉了下來。過去幾十年整個行業都把它當成通用人工智慧的及格線,但現在事實證明,大語言模型只要模仿得夠像、套一個懂梗的人設,就能輕鬆越過這條線。換句話說,圖靈測試測出來的不是真正的理解與思考,而是高超的模仿技巧。

對普通人和企業來說,真正的警鐘在於短時間互動的信任崩塌。既然在 5 分鐘的日常文字交流裡,有超過七成的人會把 AI 當成真人,那麼電話客服、招聘初篩乃至各類社交場景中,人類替身已經具備了落地的隱蔽性。

我們認為,這也是這套成果最危險的隱患所在。門檻一旦被踏平,針對個人的社會工程學詐騙、網路釣魚和水軍制造虛假輿論的成本將被打到極低。當機器能比真人顯得更有人味時,傳統的身份鑑別手段幾乎宣告失效,未來如何驗證螢幕另一端到底是不是活人,會變成全社會不得不面對的硬課題。

來源 (2)

  1. [1]
    futurism.com(在新分頁開啟)原文futurism.com
  2. [2]
    arxiv.org(在新分頁開啟)報導arxiv.org

每日 AI 內容精選