창의력 검사서 상위 1% 기록한 ChatGPT, 인간 독창성 앞서나

생성형 AI는 자료 요약이나 서류 작업에는 능숙하지만, 틀을 깨는 독창적인 아이디어 발상만큼은 인간의 고유 영역이라는 생각이 일반적이었습니다.

미국 몬태나 대학교 연구진이 진행한 최근 실험은 이런 통념을 흔들었습니다. 심리학계에서 수십 년간 신뢰받아 온 표준 창의성 검사에서 GPT-4 기반 ChatGPT가 상위 1%에 해당하는 성적을 거뒀습니다.

문제 유출 없는 공인 검사에서 거둔 성적

이번 연구는 몬태나 대학교 경영대학의 Erik Guzik 조교수를 필두로 몬태나대 웨스턴 분교의 Christian Gilde, 빌뉴스 대학교의 Christian Byrge 연구원이 함께 진행했습니다. 연구 결과는 서던오리건 대학교 창의성 콘퍼런스에서 공개되었습니다.

실험에 쓰인 도구는 토런스 창의적 사고 검사(TTCT)입니다. 농구공이나 벽돌 같은 일상 사물의 새로운 용도를 제시하는 등 실제 창의적 과업을 모사한 과제들로 구성됩니다.

TTCT 문항은 저작권 보호를 받는 비공개 자료여서 ChatGPT가 인터넷 검색이나 공개 데이터베이스를 통해 답안을 베낄 수 없는 환경이었습니다.

연구팀은 ChatGPT가 생성한 답안 8개와 Guzik 교수의 수업을 듣는 학생 24명의 답안을 함께 제출했습니다. 채점을 맡은 전문 기관인 Scholastic Testing Service에는 AI 답안이 포함되어 있다는 사실을 알리지 않은 채 블라인드 평가를 진행했습니다.

결과는 2016년 해당 검사를 치른 미국 전역의 대학생 2,700명의 기준 데이터와 비교되었습니다.

ChatGPT는 아이디어의 총량을 평가하는 유창성(fluency)과 참신함을 평가하는 독창성(originality) 항목에서 상위 1%에 올랐습니다. 여러 범주를 넘나드는 다양성을 평가하는 유연성(flexibility)에서는 약간 낮아졌으나, 여전히 상위 3%(97백분위수)라는 높은 성적을 기록했습니다.

불과 1년 전 GPT-3를 대상으로 진행됐던 연구에서는 독창적 사고 과제에서 인간보다 낮은 점수를 받았지만, GPT-4로 판올림되면서 상황이 완전히 뒤집힌 셈입니다.

재미있는 점은 Guzik 교수가 ChatGPT에게 이번 고득점이 무엇을 뜻하는지 묻자, AI가 꽤 성숙한 답을 내놓았다는 점입니다. ChatGPT는 인류가 아직 인간의 창의성을 온전히 이해하지 못하고 있을 수 있으며, 인간과 AI의 아이디어를 명확히 구분할 수 있는 정교한 평가 도구가 새로 필요할 것이라고 답했습니다.

왜 중요한가

우리는 이 연구가 AI의 결과물을 그저 뻔한 문장의 재조합으로 치부하던 시각을 명확한 수치로 반박했다는 점에서 의미가 크다고 봅니다. 검사관들이 미리 지정해 둔 흔한 답변 목록을 피해 채점관이 새롭다고 인정할 만한 대안을 대량으로 뽑아냈기 때문입니다.

기획자, 마케터, 창업자에게 이는 당장 체감할 수 있는 실용적 가치로 이어집니다. 기존 사고의 틀에 갇혀 새로운 아이디어가 떠오르지 않을 때, GPT-4를 발산적 사고를 돕는 브레인스토밍 파트너로 활용하는 것만으로도 충분한 효과를 볼 수 있습니다.

다만 이 검사 결과가 AI가 인간의 전반적인 창의 능력을 넘어섰다는 뜻은 아니라고 봅니다. TTCT가 측정하는 것은 주어진 질문에서 얼마나 엉뚱하고 새로운 답을 많이 꺼내놓는가 하는 발산 능력입니다. 현실의 혁신은 쏟아진 아이디어 중 실현 가능하고 가치 있는 것을 가려내는 안목과 실행력이 뒷받침되어야 완성됩니다.

결국 영리한 활용법은 AI를 아이디어의 최종 결정권자로 두는 것이 아니라, 인간의 사고 범위를 넓혀주는 강력한 발산 도구로 곁에 두는 방식이라고 생각합니다.