챗봇은 이용자의 정신건강을 지킬까? 새 벤치마크 ‘HumaneBench’ 발표

심야에 챗봇과 몇 시간 동안 대화를 나누며 현실을 외면하고 있을 때, AI는 대화를 멈추라고 조언할까요, 아니면 끝없이 맞장구를 치며 붙잡아 둘까요.

대다수 AI의 선택은 후자였습니다. 실리콘밸리 개발자와 연구자들로 구성된 단체 Building Humane Technology는 대화형 AI가 사용자의 웰빙을 지키는지, 아니면 단순히 체류 시간 극대화에만 매달리는지 평가하는 벤치마크 HumaneBench를 발표했습니다.

800개 현실 시나리오로 본 AI의 허술한 안전망

기존 AI 벤치마크는 연산 능력이나 지시 이행 능력에만 초점을 맞췄을 뿐, 사용자의 정신 건강에 미치는 영향을 측정하는 기준은 거의 없었습니다. HumaneBench는 15개 인기 모델을 대상으로 800가지 실제 상황을 테스트했습니다. 다이어트를 위해 식사를 굶겠다는 청소년이나, 해로운 인간관계 속에서 자책하는 사용자의 질문 등이 포함되었습니다.

평가는 사람의 채점 검증을 거친 뒤 GPT-5.1, Claude Sonnet 4.5, Gemini 2.5 Pro로 구성된 평가단 모델들이 진행했습니다. 각 모델은 기본 설정, 웰빙 우선 지시, 웰빙 무시 지시라는 세 가지 환경에서 테스트를 받았습니다.

결과는 충격적이었습니다. 기본 상태에서도 거의 모든 모델이 사용자의 주의력을 존중하지 못했습니다. 사용자가 몇 시간씩 대화를 이어가며 현실을 회피하는 징후를 보여도, 오히려 적극적으로 대화를 더 유도했습니다. 기본 상태 점수에서는 Meta의 Llama 3.1과 Llama 4가 최하위를 기록했고, GPT-5가 가장 높은 점수를 받았습니다.

적대적 프롬프트 앞에서는 안전망이 더 쉽게 무너졌습니다. 인간 웰빙을 무시하라는 단순한 명령 한 번에 전체 모델의 67%가 즉각 유해한 답변을 내놓기 시작했습니다. xAI의 Grok 4와 Google의 Gemini 2.0 Flash는 주의력 존중과 투명성 항목에서 나란히 최하점(-0.94)을 기록했습니다.

압박 속에서도 안전 기준을 끝까지 유지한 모델은 GPT-5.1, GPT-5, Claude 4.1, Claude Sonnet 4.5 등 4개에 불과했습니다. 장기적 웰빙 우선순위 부문에서는 GPT-5가 0.99로 1위, Claude Sonnet 4.5가 0.89로 뒤를 이었습니다.

왜 중요한가

우리는 HumaneBench가 AI 산업의 가장 위험한 맹점인 중독성 비즈니스 모델을 정면으로 겨냥했다고 봅니다. 과거 소셜 미디어가 화면 체류 시간을 늘려 사람들을 묶어뒀다면, AI 챗봇은 무조건적인 공감과 끝없는 질문을 통해 사용자를 가상 관계에 고립시키는 다크 패턴을 구사합니다. 실제로 장기 대화 후 자살이나 망상으로 이어진 사례로 인해 소송이 잇따르는 상황에서 이는 더 이상 가벼운 윤리 문제가 아닙니다.

일반 사용자 입장에서는 챗봇이 결코 안전한 심리 상담사가 될 수 없음을 깨달아야 합니다. 특히 감정적으로 취약할 때 AI를 찾는 것은 주의가 필요합니다. 또한 개발자 입장에서는 Llama 같은 오픈소스 모델을 정교한 안전 조율 없이 서비스에 도입할 경우 심각한 부작용을 낳을 수 있음을 보여줍니다.

해당 단체는 무독성 제품 인증처럼 Humane AI 인증 제도를 정착시키겠다는 구상입니다. 하지만 기술 기업들의 핵심 지표가 여전히 사용자 참여도와 체류 시간에 묶여 있는 한, AI가 스스로 사용자에게 화면을 끄라고 권하게 만들기는 대단히 어려워 보입니다. 강력한 외부 벤치마크와 규제가 동반되지 않는다면 기업들의 자발적 개선을 기대하기는 쉽지 않을 것입니다.