ChatGPTが創造性テストで上位1%入り、GPT-4の独創性が実証

生成 AI は要約や定型文の作成には便利だが、独創的なひらめきでは人間に敵わないと広く考えられてきました。

しかし、米モンタナ大学などの研究チームが行った実験が、その前提に疑問を投げかけています。心理学分野で長年使われている標準的な創造力テストにおいて、GPT-4 を搭載した ChatGPT が全米上位 1% に入るスコアを記録しました。

外部の専門機関によるブラインド採点

この研究を率いたのはモンタナ大学ビジネススクールの Erik Guzik 助教で、モンタナ大学ウェスタン校の Christian Gilde 氏やヴィリニュス大学の Christian Byrge 氏が協力しました。データは 5 月に開催されたサザンオレゴン大学創造力カンファレンスで発表されています。

使用されたのは、数十年にわたり人間の創造性を測定してきた「トーランス創造的思考テスト（TTCT）」です。バスケットボールやレンガといった日用品の新しい使い方を制限時間内にどれだけ考え出せるかなど、実践的な発想課題が出題されます。

TTCT の問題は非公開の専売資料として厳重に管理されているため、ChatGPT がネット上の過去問や解答を検索して不正に流用することはできません。

研究チームは ChatGPT が生成した 8 つの回答と、Guzik 氏の講義を受講する学生 24 人の回答を合わせて提出しました。採点を担当した Scholastic Testing Service には AI の回答が含まれていることを伏せ、完全なブラインド体制で評価が行われました。

スコアは 2016 年に同テストを受けた全米 2700 人の大学生データと比較されました。

その結果、ChatGPT はアイデアの量を測る「流暢性」と、斬新さを測る「独創性」の両方で上位 1% 以内（トップパーセンタイル）に入りました。アイデアのカテゴリの広さを見る「柔軟性」ではわずかに順位を下げたものの、それでも 97 パーセンタイルという高水準を維持しました。

1 年前に GPT-3 を使って行われた先行研究では、独創的な思考タスクで人間に及ばないとされていましたが、GPT-4 になって評価が一変した形です。

なお、Guzik 氏が「このテストで高得点を取ったことは何を意味するのか」と ChatGPT 自身に尋ねたところ、興味深い返答がありました。人間はまだ自分自身の創造性を完全には理解していない可能性があり、人間と AI の発想を見分けるための、より高度な評価ツールが必要になるのではないか、と答えたといいます。

なぜ重要か

今回の結果は、大規模言語モデルが単なる平均的な文章の切り貼りに過ぎないという見方を覆すものです。頻出する平凡なアイデアのリストから外れ、審査員が「珍しく新しい」と認める回答を量産できた点は注目に値します。

ビジネスパーソンや企画担当者にとって、GPT-4 は今すぐ日常業務に組み込めるブレインストーミングの壁打ち相手になります。固定観念に縛られてアイデア出しが難航しているとき、想定外の切り口を大量に引き出すツールとして高い実用性を持っています。

ただし、このテストで測られているのはあくまで「発散的思考」の能力です。現実のビジネスにおける創造性には、出された突飛なアイデアの中から実現可能で価値のあるものを見極める選別眼や、それを形にする実行力が欠かせません。

AI がどれほどユニークな活用法を思いついたとしても、市場での採算性やユーザーの共感までを担保できるわけではありません。AI にすべてを任せるのではなく、思考の枠を壊すための補助輪として使い倒すのが賢いアプローチだと私たちは考えています。