创造力测试揭晓:ChatGPT 原创性得分跻身人类前 1%
蒙大拿大学团队公布测试结果,搭载 GPT-4 的 ChatGPT 在权威创造力测验 TTCT 中,流畅度与原创性均位列前 1%,灵活性达前 3%。盲审机构未察觉其为 AI,表明大模型在发散思维上已能媲美甚至超越大部分人类。

很多人总觉得生成式 AI 只是个高级搬砖工,擅长整理资料、写套话,真要拼「天马行空的发散思维」,还是得靠人类的大脑。
蒙大拿大学商学院的一群研究人员最近做了个实验,结果把不少人吓了一跳。在心理学界沿用了几十年的标准创造力测试里,由 GPT-4 驱动的 ChatGPT 拿下的成绩,直接杀进了全美人类受试者的前 1%。
拿几十年前的老考卷,盲测 GPT-4
负责这项研究的是蒙大拿大学助理临床教授 Erik Guzik,合作者还包括蒙大拿大学西方分校的 Christian Gilde 以及立陶宛维尔纽斯大学的 Christian Byrge。他们在当年 5 月的南俄勒冈大学创造力大会上公布了这批数据。
他们选用的测试工具叫托兰斯创造性思维测验(TTCT)。这套测试在创造力研究领域地位很高,题目通常会模拟现实生活里的创意任务。比如拿一个篮球或者一块砖头,让你在有限时间内尽可能多地列出新用途。
很多人以为 AI 能作弊,但研究团队指出,TTCT 是受版权保护的专有测验题库,网上没有现成公开的考题和答案,ChatGPT 没法直接靠检索抄近道。
研究团队向负责统分的学术测试服务机构(Scholastic Testing Service)提交了测试答卷。除了 ChatGPT 生成的 8 份回答,还混入了 Guzik 教授创业与个人理财课上的 24 名学生的作业。评分机构完全不知道里面夹杂着 AI 的回答,全程是双盲打分。
打分标准主要看三项能力:流畅性(能想出多少点子)、独创性(想法有多新颖)、灵活性(能否跨越不同类别想点子)。评分机构把这份成绩,和 2016 年全美 2700 名参加过该测试的大学生常模数据做了比对。
结果显示,ChatGPT 在流畅性和独创性这两项上,双双杀进了前 1% 的顶尖梯队;在跨类别思考的灵活性上稍微落后一点点,但也排在第 97 百分位。
一年前曾有研究用 GPT-3 跑过类似测试,当时 AI 在原创思考上还明显拼不过人类。但换上 GPT-4 之后,局面彻底逆转了。
有意思的是,Guzik 后来跑去问 ChatGPT:如果你在 TTCT 里拿了高分,这意味着什么?ChatGPT 给出的回答很清醒:这说明人类可能还没有完全搞懂人类创造力到底是什么,或许我们需要更精密的评估工具,来区分人类和 AI 产生的想法。
为什么重要
我们认为,这项研究最值得玩味的地方,在于它打破了「AI 只能复读、没有独创性」的刻板印象。在专业评委眼里,GPT-4 给出的方案已经不是大家随口就能想到的烂大街点子,而是实打实属于少有人想到的「新想法」。
对创业者、产品经理或者营销人员来说,这意味着你今天就可以把 GPT-4 当成一个高水平的头脑风暴伙伴。当你卡在某个问题里、只想得出常规套路时,逼它给出几十个非常规方案,里面很可能真有一两个能用的破局点。它的门槛极低,甚至不需要专门设计复杂的提示词。
但看起来,我们也不能直接得出「AI 创造力全面超越人类」的结论。托兰斯测试评估的是发散思维的能力,也就是在既定命题下快速穷举冷门点子。然而真实世界里的创造力,还包含了提出好问题、判断点子的可行性、以及把想法变成现实的执行力。
机器可以轻易想出「把篮球剪开当花盆」甚至更离奇的点子,但它并不知道花盆在具体市场里的审美价值和商业代价。聪明的做法不是去和它比拼脑洞数量,而是借它的发散能力突破思维盲区,把最核心的筛选和决策权留在人手里。
来源 (1)
- scitechdaily.com(在新标签页打开)原文scitechdaily.com