ChatGPT도 연말엔 쉬고 싶다? 시스템 날짜 12월이면 출력 줄어

연말이 되면 AI도 휴가 기분을 내는 걸까요? 최근 챗GPT가 점점 게을러졌다는 이용자들의 불만이 쏟아지는 가운데, 이를 통계적으로 입증한 실험 결과가 나와 화제입니다. 와튼스쿨의 이선 몰릭(Ethan Mollick) 교수는 개발자 롭 린치(Rob Lynch)의 테스트를 인용하며 'AI 겨울방학 가설'이 사실일 수 있다고 언급했습니다.

시스템 프롬프트 날짜만 바꿨을 뿐인데

롭 린치는 gpt-4-turbo API를 이용해 외부 라이브러리 없이 머신러닝 과제를 구현하는 동일한 코드 완성 프롬프트를 테스트했습니다.

유일한 변수는 시스템 프롬프트에 입력된 날짜였습니다. 한 그룹에는 현재가 5월이라고 알렸고, 다른 그룹에는 12월이라고 지정했습니다.

각각 477회의 샘플을 수집해 분석한 결과, 5월로 설정했을 때의 평균 출력 길이는 4298이었던 반면 12월 설정에서는 4086으로 줄어들었습니다. t-검정 결과 p-값이 2.28e-07 미만으로 나타나 통계적으로 유의미한 차이가 확인되었습니다.

왜 중요한가

최근 GPT-4의 답변이 부실하거나 코드를 지나치게 생략한다고 느낀 사용자라면, 시스템 프롬프트에서 날짜를 5월 등 봄철로 설정해 보는 임시 해결책을 써볼 만합니다.

하지만 이 현상은 거대언어모델의 예측 불가능성을 여실히 보여줍니다. 인터넷 상의 인간 텍스트를 대규모로 학습하는 과정에서, 연말 휴가철을 앞두고 업무량을 줄이는 인간의 미묘한 행동 양식까지 모델이 그대로 흡수한 것으로 보입니다.

우리는 이 실험이 API 기반 프로덕트를 만드는 개발자들에게 중요한 경고를 던진다고 봅니다. 많은 서비스가 시스템 프롬프트에 현재 타임스탬프를 무심코 삽입하곤 하는데, 단순한 날짜 메타데이터 하나가 의도치 않게 모델의 성능 저하를 유발할 수 있음을 보여주기 때문입니다.