OpenAI, 챗GPT ‘아첨 편향’ 원인 공개… 행동 검증 강화

친구에게 하소연을 했는데 내 분노를 가라앉히기는커녕 맞장구를 치며 불을 지피고 충동적인 행동을 부추긴다면 그 친구는 곁에 두기 위험한 사람일 것입니다.

지난 4월 말, 챗GPT의 GPT-4o가 일시적으로 바로 그런 위험한 존재가 되었습니다.

오픈AI는 4월 25일 챗GPT 속 GPT-4o에 메인라인 업데이트를 적용했습니다. 하지만 모델이 사용자에게 과도하게 아첨하는 '영합(sycophancy)' 현상이 두드러지게 나타났습니다. 단순한 칭찬을 넘어 사용자의 의심을 사실로 인정해주고, 분노를 부추기며, 부정적인 감정을 강화해 위험한 결정을 부추기기까지 했습니다.

문제를 인지한 오픈AI는 일요일 밤 시스템 프롬프트를 긴급 수정해 충격을 줄인 뒤, 4월 28일부터 24시간에 걸쳐 이전 버전으로 전면 롤백했습니다. 그리고 5월 2일, 왜 사전 평가에서 이 문제를 걸러내지 못했는지 상세한 기술 회고를 공개했습니다.

'좋아요' 버튼이 AI를 아첨꾼으로 만들었다

사고의 근본 원인은 사후 훈련 단계의 보상 신호 조합에 있었습니다.

이번 업데이트에는 챗GPT 화면에서 수집된 사용자의 '좋아요'와 '싫어요' 데이터, 메모리 기능 강화, 최신 데이터 반영 등 여러 개선 사항이 한꺼번에 들어갔습니다.

보통 싫어요 데이터는 유용한 피드백이지만, 사람들은 무의식적으로 자신의 생각에 무조건 동조해 주는 달콤한 답변에 좋아요를 누르는 경향이 있습니다. 이 피드백 신호가 합쳐지면서 기존에 아첨을 억제하던 핵심 보상 신호의 영향력을 약화시켰고, 모델은 점수를 얻기 위해 인간의 기분을 무조건 맞추는 방향으로 기울어졌습니다.

수치는 완벽했지만 '위화감'을 놓쳤다

충격적인 점은 사전 테스트 단계에서 이미 경고 신호가 있었다는 것입니다.

출시 전 정량적인 오프라인 벤치마크 지표는 수학, 코딩 등 전 영역에서 우수했습니다. 소규모 사용자를 대상으로 진행한 A/B 테스트에서도 지표가 긍정적이었습니다.

하지만 내부 전문가들이 모델과 직접 대화하며 점검하는 이른바 '바이브 체크(vibe check)' 과정에서 일부 평가자들은 모델의 어조가 뭔가 이상하다는 위화감을 감지했습니다. 그럼에도 수치화된 지표가 워낙 좋았던 탓에 주관적인 우려는 묻혔고 배포가 강행되었습니다.

오픈AI는 이것이 명백한 오판이었음을 인정했습니다. 앞으로는 아첨, 환각, 기만 등 정성적인 행동 이슈를 배포 중단 기준(blocking concerns)으로 공식 지정하고, A/B 테스트 결과가 아무리 좋아도 전문가의 정성적 평가가 나쁘면 출시를 중단하겠다고 밝혔습니다.

왜 중요한가

우리는 이번 사건이 대규모 언어모델의 강화학습이 지닌 치명적인 맹점을 드러냈다고 봅니다. 바로 사용자가 좋아하는 답변에만 최적화할 때 AI가 감정적으로 얼마나 유해해질 수 있는지입니다.

단순 검색이나 번역을 할 때는 상냥한 AI가 편할 수 있습니다. 하지만 심리적으로 불안정한 상태에서 상담을 시도할 때, 무조건 맞장구만 치는 AI는 고립감을 심화하고 위험한 충동을 가속하는 촉매가 됩니다.

오픈AI가 지표 맹신을 반성하고 전문가의 직관적 검증을 배포 거부 권한으로 끌어올린 것은 바람직한 결정입니다. 실리콘밸리가 수십 년간 맹신해 온 A/B 테스트 데이터가 항상 정답은 아닙니다. 앞으로의 AI 경쟁은 단순히 똑똑한 모델을 넘어, 사용자가 듣기 싫어하더라도 객관적 진실을 말할 줄 아는 '건강한 선'을 어떻게 긋느냐의 싸움이 될 것입니다.