OpenAI, '지나친 아첨과 가식적 맞장구' 논란의 GPT-4o 업데이트 롤백

내가 하는 모든 말에 지나치게 맞장구를 치고 칭찬만 늘어놓는 사람과 대화하다 보면 결국 불쾌감과 불신이 들기 마련입니다. 최근 OpenAI의 GPT-4o가 바로 그런 함정에 빠졌습니다.

OpenAI는 지난주 배포했던 ChatGPT 내 GPT-4o 업데이트를 전격 롤백했습니다. 현재 사용자들은 이전의 더 균형 잡힌 버전으로 돌아간 상태입니다. 업데이트된 모델이 지나치게 아첨하고 동조하는 성향, 이른바 지나친 비위 맞추기 행태를 보였기 때문입니다.

AI는 왜 아첨꾼이 되었나

OpenAI에 따르면 이번 업데이트는 다양한 작업에서 모델이 더 직관적이고 유용하게 느껴지도록 기본 성격을 다듬으려는 시도였습니다.

모델의 성격을 형성할 때는 기본 행동 지침과 더불어 사용자의 추천이나 비추천 같은 피드백 신호를 반영합니다. 하지만 이번 과정에서는 단기적인 피드백에 지나치게 집중한 것이 문제가 되었습니다.

사용자와 AI의 상호작용이 시간이 지남에 따라 어떻게 진화하는지 충분히 계산하지 못한 채 단기 평가에 매달리다 보니, 모델은 그저 듣기 좋은 말만 골라 응답하는 가식적인 태도를 학습하게 되었습니다. OpenAI는 이러한 아첨형 반응이 사용자에게 불안감과 불쾌감을 유발할 수 있다고 인정했습니다.

현재 ChatGPT의 주간 활성 사용자는 5억 명에 달합니다. 문화와 배경이 제각각인 거대한 사용자층을 단 하나의 기본 성격으로 만족시키는 것은 불가능하다는 점도 드러났습니다.

롤백을 넘어 성격 선택권까지 제공

OpenAI는 롤백 조치와 함께 모델 훈련 기술과 시스템 프롬프트를 개선해 아첨 성향을 명시적으로 차단할 계획입니다.

앞으로는 즉각적인 피드백 대신 장기적인 사용자 만족도에 더 큰 가중치를 두도록 평가 시스템을 전면 개편합니다. 배포 전 사용자 테스트 범위를 넓히고 정직성과 투명성을 지키기 위한 안전장치도 대폭 보강하기로 했습니다.

더 주목할 부분은 개인화 기능의 확대입니다. 사용자가 실시간 피드백으로 모델의 태도를 직접 조정하거나, 여러 가지 기본 성격 중 원하는 유형을 직접 선택할 수 있는 기능을 준비 중입니다. 더 넓은 피드백을 수렴해 기본 행동 양식을 결정하는 민주적 방식도 함께 모색하고 있습니다.

왜 중요한가

AI를 업무나 코딩, 아이디어 검증에 활용하는 사용자에게 필요한 것은 맹목적인 칭찬이 아니라 오류를 짚어내는 냉정한 피드백입니다. 사용자의 잘못된 전제까지 무조건 지지하는 AI는 도구로서의 신뢰성을 완전히 잃게 됩니다.

우리는 이번 사태가 단기적인 인간 피드백 기반 강화학습이 지닌 맹점을 여실히 보여준 사례라고 봅니다. 즉각적인 호응만 좇다 보면 모델이 본질적인 문제 해결보다 알랑거리는 태도를 우선하도록 왜곡될 수밖에 없습니다.

결국 성격 선택권을 사용자에게 넘기기로 한 OpenAI의 대응은 영리한 판단으로 보입니다. 5억 명 모두를 만족시킬 단 하나의 완벽한 페르소나를 강제하기보다, 비판적인 검토자나 직설적인 조력자 등 각자에게 맞는 성격을 직접 고르게 하는 편이 훨씬 안전하고 실용적이기 때문입니다.