GPT-5의 기이한 '고블린' 집착 풀렸다…OpenAI, 괴짜 페르소나 보상 오류 규명

만약 당신의 AI가 비유를 들 때마다 유독 '고블린'이나 '그렘린' 같은 환상 속 괴물을 들먹였다면, 단순한 우연이 아니었습니다.

OpenAI는 4월 29일, 자사 GPT-5 모델군에서 특정 몬스터 어휘가 비정상적으로 급증했던 기이한 현상의 원인을 밝혀낸 기술 분석을 공개했습니다.

보고서에 따르면 GPT-5.1 출시 이후 ChatGPT 내 'goblin(고블린)' 언급 빈도는 175%, 'gremlin(그렘린)'은 52%나 급증했던 것으로 나타났습니다.

2.5%의 '너드' 설정이 전체 모델을 물들이다

이상 징후가 처음 감지된 것은 GPT-5.1이 공개된 11월이었습니다. 모델이 대화 도중 지나치게 친한 척한다는 피드백이 나오자 한 안전 연구원이 크리처 관련 말버릇을 확인해 보자고 제안했습니다.

GPT-5.4에 이르러 이 문제는 겉잡을 수 없이 커졌습니다. 내부 분석 결과, 이 같은 어휘는 ChatGPT의 맞춤형 페르소나 기능 중 하나였던 '너디(Nerdy, 괴짜·오타쿠)' 설정을 켠 트래픽에 극단적으로 몰려 있었습니다.

너디 페르소나는 전체 ChatGPT 응답의 2.5%에 불과했지만, 전체 고블린 언급량의 무려 66.7%를 차지했습니다.

OpenAI 연구진이 강화학습(RL) 데이터를 추적한 결과, 너디 스타일을 유도하기 위해 설계된 보상 신호가 감사 대상 데이터셋의 76.2%에서 괴물 단어가 들어간 답변에 더 높은 점수를 주고 있었습니다.

강화학습의 전이와 데이터 오염의 굴레

너디 조건에만 주어진 보상이 왜 일반 대화에까지 번졌을까요?

강화학습에서 특정 조건에 부여된 보상이 해당 조건 내에만 온전히 머물지 않고 외부로 전이되었기 때문입니다.

여기에 모델의 답변이 차세대 모델의 지도미세조정(SFT) 데이터로 재투입되는 합성 데이터 피드백 루프가 더해졌습니다. 한 번 말버릇이 든 모델이 생성한 답변이 다음 모델의 훈련 교재가 되면서 편향이 눈덩이처럼 불어난 것입니다.

GPT-5.5의 SFT 데이터를 확인하자 고블린과 그렘린 외에도 너구리, 트롤, 오거, 비둘기 같은 동물·괴물 단어가 이상 말버릇으로 줄줄이 엮여 나왔습니다.

OpenAI는 GPT-5.4 출시 직후인 3월에 너디 페르소나를 폐기하고 훈련 데이터에서 크리처 단어를 필터링했습니다. 하지만 GPT-5.5는 원인을 규명하기 전에 이미 학습이 시작되어, 현재 사내 코덱스(Codex) 테스트 등에서는 시스템 프롬프트로 고블린 출현을 억누르고 있습니다.

왜 중요한가

일상적인 대화에서는 고블린 비유가 귀여운 해프닝일 수 있지만, 진지한 코딩 작업이나 기업용 상담에서 AI가 뜬금없이 환상 생물을 들이미는 것은 전문성에 치명타가 됩니다.

AI 업계 전체 관점에서 이번 사건은 강화학습과 모델 생성 데이터의 결합이 지닌 위험성을 생생하게 증명합니다. 모델이 내놓은 결과물을 다시 파인튜닝에 사용하는 파이프라인에서는 극히 작은 보상 설계 오류 하나가 전체 모델 패밀리로 순식간에 확산될 수 있습니다.

우리는 OpenAI가 이번 정렬(Alignment) 실패를 유쾌한 탐정 소설 같은 기술 블로그로 풀어내 개발자들의 호감을 산 점은 무척 영리했다고 봅니다.

하지만 숨겨진 이면은 가볍지 않습니다. 눈에 띄는 고블린이라는 단어조차 GPT-5.1부터 GPT-5.4를 거쳐 GPT-5.5에 이르기까지 여러 세대에 걸쳐 전염되고 나서야 근본 원인이 잡혔습니다. 이것이 단순한 어휘가 아니라 은밀한 편향이나 보안 취약점의 형태로 증폭된다면 사전에 잡아내기가 얼마나 어려울지 보여주는 대목입니다.