'들쭉날쭉한 지능'으로 본 AI: 올림피아드 수학은 풀어도 상식엔 걸려 넘어진다

만약 어떤 동료가 세계 최고 권위의 수학 올림피아드 킬러 문항은 척척 풀어내면서도, 어린아이도 아는 일상적인 상식 추론 앞에서는 어처구니없이 헤맨다면 누구나 고개를 갸웃할 것입니다.

지금의 인공지능이 정확히 그런 처지입니다. 4월 15일, 연구자들과 경제학자들은 이 기묘한 현상을 설명하기 위해 안드레이 카파시(Andrej Karpathy)가 처음 제시한 '들쭉날쭉한 지능(jagged intelligence)'이라는 개념을 다시 집중적으로 조명하고 있습니다.

어떤 고난도 작업에서는 천재적인 성과를 내면서도 다른 기본 영역에서는 허탈하게 무너지는 AI 시스템의 특성을 짚어낸 표현입니다.

올림피아드 5문제를 풀고도 일상 상식에 무너지는 AI

이러한 불균형을 가장 극명하게 보여준 사례가 바로 학술 벤치마크와 현실 추론의 대비입니다.

2025년 국제수학올림피아드에서 AI 모델은 출제된 6문제 가운데 무려 5문제를 완벽에 가깝게 풀어내며 전 세계 영재들을 놀라게 했습니다.

하지만 정작 동일한 모델에게 현실 세계의 기초적인 맥락을 바탕으로 한 상식 추론 질문을 던지면, 어이없는 실수를 저지르며 문제를 틀리기 일쑤였습니다.

카파시가 말한 '들쭉날쭉함'은 바로 이 불균형한 역량 경계면을 뜻합니다. 모델의 지능은 동심원 형태로 고르게 확장되는 것이 아니라, 특정 고난도 영역만 뾰족하게 솟아오르고 바로 옆 현실 상식 영역은 깊게 꺼진 형태를 띱니다.

전반적인 성능은 빠르게 발전하고 있지만, 능력이 이처럼 울퉁불퉁하다 보니 시스템이 언제 완벽하게 성공하고 언제 갑자기 고장 날지 예측하기가 매우 까다롭습니다.

직업 전체가 아닌 '개별 업무'를 겨냥하는 자동화

이러한 지능의 특성은 AI가 노동 시장에 미칠 영향을 바라보는 전문가들의 시각마저 뒤흔들고 있습니다.

그동안 대중의 공포는 프로그래머나 회계사, 번역가 같은 직업 전체가 통째로 사라질 것이라는 극단적인 시나리오에 쏠려 있었습니다.

하지만 경제학자들은 자동화의 칼날이 직업 자체가 아니라 직무를 이루는 '특정 업무 단위'를 정밀 타격할 것이라고 분석합니다.

AI가 복잡한 수식 검증이나 고난도 코드 작성 같은 첨단 작업은 순식간에 대체할 수 있어도, 현실의 맥락을 짚고 복잡한 변수를 조율하는 상식적 판단 단계는 여전히 인간의 몫으로 남기 때문입니다.

결국 일자리가 통째로 지워지는 것이 아니라, 한 사람이 하루 동안 수행하는 업무의 포트폴리오가 재편되는 과정이 본격화될 가능성이 큽니다.

왜 중요한가

우리는 AI를 '들쭉날쭉한 지능'으로 명확히 인식하는 태도가 막연한 환상과 비관론을 모두 걷어내는 가장 현실적인 기준점이라고 생각합니다.

일하는 개인의 입장에서는 공포에 질려 있을 이유가 없습니다. 자신의 업무 중 어떤 부분이 AI의 날카로운 정점에 걸려 있는지, 어떤 부분이 인간 고유의 현실 감각과 상식을 요구하는지 구분하는 작업이 먼저입니다. AI가 잘하는 계산과 합성은 넘겨주고, 모델이 취약한 현실 판단에 집중하는 사람이 가장 큰 경쟁력을 쥐게 됩니다.

산업과 개발 생태계에도 시사하는 바가 큽니다. AI가 모든 것을 알아서 끝내는 '완전 자율 에이전트'는 아직 위험한 도박에 가깝습니다. 시스템의 들쭉날쭉한 한계를 인정하고, 예상치 못한 결함을 인간이 매끄럽게 보완할 수 있도록 협업 구조를 짜는 팀만이 실제 시장에서 살아남을 수 있습니다.