스탠퍼드 HAI 연례 보고서: 기존 벤치마크서 인간 넘어서는 AI

스탠퍼드대학교 인간중심인공지능연구소(HAI)가 일곱 번째 연례 'AI 인덱스(AI Index)' 보고서를 발표했습니다. 전 세계 연구진과 산업 전문가들이 집필한 이번 보고서에서 가장 눈에 띄는 대목은 명확합니다. AI가 기존의 거의 모든 표준 성능 벤치마크에서 인간을 완전히 넘어섰다는 점입니다.

AI가 시험을 너무 빠르게 풀어내면서, 학계가 오랫동안 사용해 온 평가 지표들은 순식간에 쓸모를 다하고 있습니다. 연구자들은 이제 모델의 역량을 측정하기 위해서가 아니라, 인간이 여전히 우위를 점하고 있는 영역이 어디인지 확인하기 위해 부랴부랴 더 가혹한 새 시험지를 만들어야 하는 처지입니다.

낡아버린 시험지들

AI의 추월 속도는 생각보다 훨씬 빨랐습니다. 2015년 이미지 분류에서 인간 기준선을 넘은 것을 시작으로, 2017년 기본 독해력, 2020년 시각적 추론, 2021년 자연어 추론까지 차례로 인간을 앞질렀습니다.

2023년에는 고난도 인지 과제 영역마저 무너졌습니다. 경시대회 수준의 수학 문제 1만 2500개로 구성된 MATH 벤치마크에서 AI의 정답률은 2021년 고작 6.9%에 불과했습니다. 그러나 2023년 GPT-4 기반 모델은 무려 84.3%를 기록하며 인간 전문가 기준선인 90% 코앞까지 도달했습니다.

테이블 위의 고양이를 보고 무게를 견딜 수 있는지나 뛰어내릴 가능성을 유추하는 시각적 상식 추론(VCR)에서도 AI는 81.60점을 기록해 인간 기준선인 85점에 바짝 다가섰습니다. 텍스트-이미지 생성 기술 역시 불과 22개월 만에 어색한 그래픽에서 사진과 구별하기 힘든 수준으로 도약했습니다.

똑똑하지만 거짓말을 멈추지 못하는 천재

하지만 이 똑똑한 기계는 여전히 치명적인 결함을 안고 있습니다. 바로 환각(Hallucination) 현상입니다.

뉴욕의 한 변호사가 챗GPT가 지어낸 가짜 판례를 법정에 제출했다가 5000달러의 벌금을 문 사건처럼, 그럴듯한 거짓말을 사실처럼 내뱉는 문제는 여전히 심각합니다.

인간이 흔히 잘못 알고 있는 상식을 다룬 TruthfulQA 테스트에서 최고 성능을 낸 GPT-4의 점수는 0.59점에 그쳤습니다. 2021년 GPT-2에 비해 3배 가까이 개선된 수치이지만, 함정이 있는 질문에는 여전히 40% 확률로 엉뚱한 오답을 내놓는다는 뜻입니다.

주목할 점은 이번 보고서의 데이터가 2023년 말에서 끊겼다는 사실입니다. 2024년 벽두부터 쏟아져 나온 Sora, Claude 3, Suno, Devin 같은 파괴적 모델들의 성과는 아직 이 수치에 다 담기지도 않았습니다.

왜 중요한가

이번 보고서는 AI 기술의 평가 체계가 역사적인 변곡점에 서 있음을 보여줍니다.

실무자와 일반 사용자 입장에서 정답이 정해진 닫힌 과제, 즉 코딩 보조, 데이터 계산, 기초 문서 요약 등은 이미 AI가 일반적인 인간의 작업 속도와 정확도를 넘어섰습니다. 지금 당장 워크플로에 도입하지 않는 쪽이 손해입니다. 다만 TruthfulQA 점수가 증명하듯 고도의 정확성이 요구되는 법률, 금융, 의료 영역에서는 최종 검증 없이 AI에게 전권을 넘기는 행위는 여전히 감당하기 힘든 리스크를 낳습니다.

산업 측면에서는 단편적인 학술 벤치마크 순위 경쟁의 시대가 저물고 있습니다. 객관식 시험 점수를 잘 받는 것과 복잡한 실제 업무 환경에서 도구를 조합해 문제를 해결하는 역량은 전혀 다른 차원의 이야기이기 때문입니다.

우리는 현재 AI 생태계가 심각한 '측정의 위기'를 겪고 있다고 봅니다. 모델의 연산과 추론 속도는 수직 상승하고 있는데, 이를 검증할 도구는 여전히 과거의 기준에 머물러 있습니다. 앞으로의 경쟁은 단순히 모델의 덩치를 키우는 것을 넘어, 진짜 신뢰할 수 있는 지능을 어떻게 증명하고 통제할 것인가로 옮겨갈 것으로 보입니다.