스탠퍼드·버클리 연구: 몇 달 만에 바뀐 GPT-4 성능, 수학·코딩서 드리프트 확인

사용자들 사이에서 'GPT-4가 예전보다 멍청해졌다'는 불만이 이어지던 가운데, 학계에서 이를 뒷받침하는 구체적인 실증 데이터를 내놓았습니다.

스탠퍼드대와 UC 버클리 연구팀은 API를 통해 2023년 3월과 6월 버전의 GPT-3.5 및 GPT-4를 정밀 비교했습니다. 수학 문제, 코드 생성, 민감한 질문, 의료 시험 등 여러 작업을 테스트한 결과, 같은 이름의 서비스가 불과 석 달 만에 판이하게 다른 동작 특성을 보인 것으로 나타났습니다.

소수 판별 정확도 급락과 코드 서식 오류

가장 눈에 띄는 변화는 수학 작업에서 나타났습니다. 소수 판별 테스트에서 GPT-4의 정확도는 3월 버전의 84%에서 6월 버전 51%로 급락했습니다. Ars Technica에 따르면 특정 테스트 세트에서는 정답률이 97.6%에서 2.4%로 폭락하기도 했습니다.

연구팀은 GPT-4가 단계별로 생각을 전개하는 생각의 사슬(Chain-of-Thought) 유도를 따르는 경향이 줄어든 점을 원인 중 하나로 꼽았습니다. 사용자의 지시를 정확히 따르는 능력이 약화되면서 전반적인 성능 드리프트가 발생했다는 분석입니다.

코드 생성 작업에서도 GPT-4와 GPT-3.5 모두 6월 버전에서 서식 오류가 눈에 띄게 늘어났습니다. 민감한 질문이나 의견 조사를 입력했을 때는 GPT-4가 답변을 거부하는 빈도가 높아졌습니다.

흥미로운 점은 두 모델의 변화 양상이 엇갈렸다는 사실입니다. 복합 추론 질문에서는 GPT-4의 성능이 오르고 GPT-3.5가 떨어진 반면, 소수 판별에서는 오히려 6월 버전의 GPT-3.5가 3월보다 훨씬 높은 정확도를 기록했습니다.

공식 부인과 평가 방식을 둘러싼 반론

커뮤니티에서는 연산 비용을 아끼기 위한 모델 증류나 안전성 미세조정의 부작용 때문이라는 추측이 쏟아졌습니다.

OpenAI의 제품 부사장 Peter Welinder는 트위터를 통해 모델을 의도적으로 낮춘 적이 없으며 새 버전은 항상 더 똑똑해지고 있다고 반박했습니다. 사용 빈도가 늘어나면서 이전에 보지 못했던 결함을 더 자주 발견하게 된 것뿐이라는 주장입니다.

프린스턴대 컴퓨터공학과 Arvind Narayanan 교수 역시 연구 방식에 의문을 제기했습니다. 코드 생성 테스트가 로직의 정확성보다는 코드가 즉시 실행 가능한 형태로 출력되었는지만 측정했다는 점을 지적하며, 지능 감퇴라기보다는 단순 미세조정에 따른 형식 변화일 수 있다고 짚었습니다.

왜 중요한가

API를 바탕으로 서비스를 운영하는 개발자에게 이번 연구 결과는 상당한 경고입니다. 지난주까지 정상 동작하던 프롬프트가 서비스 제공업체의 소리 없는 업데이트 하나로 예외 처리를 유발하거나 오작동할 수 있기 때문입니다.

업계 관점에서도 블랙박스 형태의 상용 LLM 서비스가 지닌 구조적 불안정성을 드러냈습니다. 모델을 필수 인프라로 홍보하면서도, 실제로는 명확한 체인지로그나 회귀 테스트 결과 없이 임의로 배포 방식을 바꾸고 있습니다.

우리는 이번 연구의 핵심이 '성능이 정말 떨어졌는가'라는 논쟁을 넘어 모델 업데이트의 불투명성을 수면 위로 끌어올린 데 있다고 봅니다. 공급업체가 버전 고정과 투명한 패치 정보를 보장하지 않는다면, 기업이 핵심 업무를 상용 LLM에 믿고 맡기기는 어렵습니다.