오픈AI·보코니대 실험, 챗GPT는 과제 완성도 높이고 비판적 사고는 독창성 키워

학생들에게 생성형 AI를 쥐여주면 과연 더 유능해질까, 아니면 비판적으로 생각하는 힘을 잃어버릴까.

이탈리아 보코니 대학교 연구진과 오픈AI 경제 연구팀이 1,000명이 넘는 학부 1학년생을 대상으로 대규모 무작위 대조 실험을 진행했습니다. 학생들에게 주어진 과제는 대학 공식 기념품점의 인지도와 이용률을 높이기 위한 실제 마케팅 전략 수립이었습니다.

실험 대상자들은 네 그룹으로 무작위 배정되었습니다. GPT-4o 기반의 ChatGPT를 쓸 수 있는 그룹, 인과적 추론 훈련을 받는 그룹, 둘 다 받는 그룹, 그리고 아무것도 받지 않는 대조군입니다. 여기서 인과적 추론 훈련은 AI와 무관하게 게임과 예시, 피드백을 통해 원인과 결과를 짚어내는 법을 가르치는 프로그램이었습니다.

제출된 과제물은 훈련받은 채점관들이 5점 만점 기준표로 채점했고, 별도로 텍스트 분석을 거쳐 아이디어의 수와 다양성, 전문가 답안과의 유사도를 측정했습니다.

형식은 AI가, 독창성은 사고력이 만든다

결과는 명확했습니다. 두 도구가 영향을 미치는 영역이 완전히 달랐습니다.

ChatGPT를 사용한 학생들은 5점 만점 평가에서 채점 점수가 거의 1점 가까이 올랐습니다. 더 많은 아이디어가 포함되었고 논리 구조가 명확했으며, 텍스트 분석 결과 전문가 3인이 작성한 제안서와 매우 유사한 수준을 보였습니다. 초보자가 AI를 지렛대 삼아 전문가처럼 정돈된 결과물을 빠르게 뽑아낸 셈입니다.

반면 아이디어의 참신함을 끌어올린 것은 인과적 추론 훈련이었습니다.

이 훈련을 거친 학생들은 어떤 아이디어가 왜 성공하고 왜 실패할 수 있는지를 더 논리적으로 파고들었고, 동료들과 겹치지 않는 독창적인 아이디어를 훨씬 다양하게 제시했습니다. 흥미로운 점은 이 독창성이 기존 5점 만점 채점표에서는 높은 점수로 이어지지 못했다는 사실입니다. 채점표가 표준적인 마케팅 목표 달성 여부만 따졌기 때문입니다.

두 가지를 모두 지원받은 그룹이 가장 폭넓은 성과를 거두었습니다. ChatGPT 단독 그룹만큼 점수와 완성도가 높으면서도, 훈련 그룹처럼 폭넓고 독창적인 가설 검증 능력을 동시에 보여주었습니다.

왜 중요한가

이번 실험은 교육과 실무 현장에서 흔히 벌어지는 'AI 활용법을 가르칠 것인가, 스스로 생각하는 법을 가르칠 것인가'라는 소모적인 이분법을 깨뜨립니다.

학생이나 실무자 입장에서 ChatGPT는 생각을 다듬고 전문가다운 형식을 갖추는 데 최고의 도구지만, 비판적 추론 뼈대가 없으면 그저 그럴듯한 양산형 기획서에 머무르게 됩니다. 차별화된 가치를 만드는 것은 결국 '왜 이 가설이 맞는지'를 의심하고 검증하는 인간의 추론 역량입니다.

더 중요한 시사점은 평가 체계의 붕괴입니다. 지금의 학교와 기업 평가는 깔끔하고 정돈된 논리를 갖춘 보고서에 후한 점수를 주도록 설계되어 있는데, 이는 AI가 가장 손쉽게 흉내 낼 수 있는 영역입니다.

우리는 앞으로 결과물의 세련됨을 평가하는 방식이 한계에 부딪힐 것으로 봅니다. 이제는 매끄러운 답안이 아니라, 문제를 어떻게 정의했고 어떤 비판적 사고 과정을 거쳐 결론에 도달했는지를 검증하는 새로운 평가 체계로 무게중심을 옮겨야 합니다.