OpenAI, 학습 성과 측정 스위트 공개: 시험 점수 넘어 사고력까지 추적

학생이 AI를 끼고 공부하면 진짜 실력이 늘어날까요, 아니면 요령만 늘어날까요?

단기 시험 성적이 올랐다고 해도 AI가 떠먹여 준 답을 외운 것에 불과하다면 진정한 학습이라고 보기 어렵습니다. OpenAI가 3월 4일 에스토니아 타르투 대학교, 스탠퍼드 대학교 SCALE 이니셔티브와 손잡고 AI가 학습에 미치는 장기적 영향을 추적하는 프레임워크인 '학습 성과 측정 스위트(Learning Outcomes Measurement Suite)'를 공개했습니다.

단순히 기말고사 점수만 채점하는 수준을 벗어나 학생의 사고력과 인지 능력이 시간이 지나면서 어떻게 변하는지 들여다보겠다는 시도입니다.

미시경제학 점수 15% 올랐지만, 전부는 아니다

OpenAI는 지난해 ChatGPT에 정답을 바로 알려주지 않고 튜터처럼 단계별 힌트를 주며 이해도를 점검하는 '학습 모드(study mode)'를 도입했습니다.

이 기능이 실제로 학습에 도움이 되는지 검증하기 위해 신경과학과 미시경제학 시험을 준비하는 대학생 300여 명을 대상으로 무작위 대조군 실험을 진행했습니다. 일반 검색과 유튜브만 쓴 대조군과 비교했을 때, 학습 모드를 사용한 학생들은 미시경제학 시험에서 약 15% 더 높은 점수를 기록했습니다.

하지만 신경과학 시험에서는 기존 인터넷 검색으로 공부한 학생들과 통계적으로 유의미한 차이를 보이지 못했습니다. 단기 성적은 올릴 수 있어도, 문제를 끝까지 파고드는 끈기나 자발적인 탐구력이 유지되는지는 기존 시험만으로 확인할 수 없다는 한계가 드러난 셈입니다.

과제 끈기와 메타인지까지 AI가 측정

새로 구축된 측정 스위트는 학생과 AI가 나눈 대화 자체를 정밀 분석합니다.

비식별화된 대화 기록에서 학생이 오답을 스스로 바로잡거나 주도적으로 질문하는 순간을 자동으로 감지합니다. 모델의 응답 방식과 학생의 반응을 함께 평가해 교육적 원칙이 잘 지켜졌는지 점검하는 구조입니다.

측정 지표는 자율적 동기, 생산적 참여, 어려운 문제를 포기하지 않는 과제 끈기, 자신의 학습 과정을 점검하는 메타인지, 기억 회상 능력 등 다섯 가지 인지 능력에 집중됩니다.

OpenAI는 애리조나 주립대, UCL 지식 랩, MIT 미디어 랩 등이 참여하는 '러닝 랩(Learning Lab)'을 꾸리고, 현재 에스토니아의 16~18세 청소년 약 2만 명을 대상으로 대규모 현장 검증을 진행하고 있습니다.

왜 중요한가

교육 현장이 생성형 AI 도입을 가장 두려워한 이유는 학생들의 사고력이 퇴화할 수 있다는 불안감 때문이었습니다. OpenAI가 스탠퍼드 및 에스토니아 연구진과 손잡고 장기적 인지 능력 지표를 먼저 들고나온 것은 교육 기관의 거부감을 누그러뜨리는 매우 영리한 전략이라고 봅니다.

학교와 교육청 입장에서도 단순 암기 점수가 아니라 학생의 메타인지와 과제 집착력이 실제로 개선되는지 대시보드로 직접 확인할 수 있는 기준이 생깁니다. 향후 이 도구가 공공 리소스로 무료 배포된다면 교육 정책 입안자들이 AI 도입 여부를 결정하는 객관적인 근거가 될 수 있습니다.

하지만 챗봇 대화 내용만으로 학생의 끈기와 인지 역량을 완벽히 계량화할 수 있는지는 여전히 의문입니다. 텍스트 분석에 기반한 평가 체계가 굳어지면, 학생들은 깊이 고민하기보다 인공지능이 똑똑하다고 채점할 만한 그럴듯한 질문을 던지는 요령부터 터득할 위험이 있습니다. 에스토니아 학생 2만 명의 실제 장기 데이터가 AI 교육의 실효성을 가르는 분수령이 될 것입니다.