跳到正文
IFAI

AI科研

創造力測試揭曉:ChatGPT 原創性得分躋身人類前 1%

首次發布 傳播指數 31

蒙大拿大學團隊公佈測試結果,搭載 GPT-4 的 ChatGPT 在權威創造力測驗 TTCT 中,流暢度與原創性均位列前 1%,靈活性達前 3%。盲審機構未察覺其為 AI,表明大模型在發散思維上已能媲美甚至超越大部分人類。

創造力測試揭曉:ChatGPT 原創性得分躋身人類前 1%
圖:scitechdaily.com

很多人總覺得生成式 AI 只是個高階搬磚工,擅長整理資料、寫套話,真要拼「天馬行空的發散思維」,還是得靠人類的大腦。

蒙大拿大學商學院的一群研究人員最近做了個實驗,結果把不少人嚇了一跳。在心理學界沿用了幾十年的標準創造力測試裡,由 GPT-4 驅動的 ChatGPT 拿下的成績,直接殺進了全美人類受試者的前 1%。

拿幾十年前的老考卷,盲測 GPT-4

負責這項研究的是蒙大拿大學助理臨床教授 Erik Guzik,合作者還包括蒙大拿大學西方分校的 Christian Gilde 以及立陶宛維爾紐斯大學的 Christian Byrge。他們在當年 5 月的南奧勒岡大學創造力大會上公佈了這批資料。

他們選用的測試工具叫托蘭斯創造性思維測驗(TTCT)。這套測試在創造力研究領域地位很高,題目通常會模擬現實生活裡的創意任務。比如拿一個籃球或者一塊磚頭,讓你在有限時間內儘可能多地列出新用途。

很多人以為 AI 能作弊,但研究團隊指出,TTCT 是受版權保護的專有測驗題庫,網上沒有現成公開的考題和答案,ChatGPT 沒法直接靠檢索抄近道。

研究團隊向負責統分的學術測試服務機構(Scholastic Testing Service)提交了測試答卷。除了 ChatGPT 生成的 8 份回答,還混入了 Guzik 教授創業與個人理財課上的 24 名學生的作業。評分機構完全不知道里面夾雜著 AI 的回答,全程是雙盲打分。

打分標準主要看三項能力:流暢性(能想出多少點子)、獨創性(想法有多新穎)、靈活性(能否跨越不同類別想點子)。評分機構把這份成績,和 2016 年全美 2700 名參加過該測試的大學生常模資料做了比對。

結果顯示,ChatGPT 在流暢性和獨創性這兩項上,雙雙殺進了前 1% 的頂尖梯隊;在跨類別思考的靈活性上稍微落後一點點,但也排在第 97 百分位。

一年前曾有研究用 GPT-3 跑過類似測試,當時 AI 在原創思考上還明顯拼不過人類。但換上 GPT-4 之後,局面徹底逆轉了。

有意思的是,Guzik 後來跑去問 ChatGPT:如果你在 TTCT 裡拿了高分,這意味著什麼?ChatGPT 給出的回答很清醒:這說明人類可能還沒有完全搞懂人類創造力到底是什麼,或許我們需要更精密的評估工具,來區分人類和 AI 產生的想法。

為什麼重要

我們認為,這項研究最值得玩味的地方,在於它打破了「AI 只能復讀、沒有獨創性」的刻板印象。在專業評委眼裡,GPT-4 給出的方案已經不是大家隨口就能想到的爛大街點子,而是實打實屬於少有人想到的「新想法」。

對創業者、產品經理或者營銷人員來說,這意味著你今天就可以把 GPT-4 當成一個高水平的頭腦風暴夥伴。當你卡在某個問題裡、只想得出常規套路時,逼它給出幾十個非常規方案,裡面很可能真有一兩個能用的破局點。它的門檻極低,甚至不需要專門設計複雜的提示詞。

但看起來,我們也不能直接得出「AI 創造力全面超越人類」的結論。托蘭斯測試評估的是發散思維的能力,也就是在既定命題下快速窮舉冷門點子。然而真實世界裡的創造力,還包含了提出好問題、判斷點子的可行性、以及把想法變成現實的執行力。

機器可以輕易想出「把籃球剪開當花盆」甚至更離奇的點子,但它並不知道花盆在具體市場裡的審美價值和商業代價。聰明的做法不是去和它比拼腦洞數量,而是借它的發散能力突破思維盲區,把最核心的篩選和決策權留在人手裡。

來源 (1)

  1. [1]
    scitechdaily.com(在新分頁開啟)原文scitechdaily.com

每日 AI 內容精選