장시간 대화 안전망 강화: OpenAI, ChatGPT 정신 건강 보호 조치 발표

ChatGPT를 단순한 검색이나 코딩 도구가 아니라 삶의 중요한 결정이나 심각한 정서적 위기 상황에서 상담 상대로 찾는 사용자가 늘고 있습니다.

OpenAI는 최근 극심한 위기에 처한 사용자들이 ChatGPT를 이용한 안타까운 사례들이 발생함에 따라, 현재 시스템의 안전장치 현황과 기술적 한계, 향후 대응 계획을 공식 공개했습니다.

긴 대화에서 무너지는 안전장치

OpenAI는 일반적인 짧은 대화와 달리, 메시지가 수없이 오가는 긴 대화에서는 모델의 안전 훈련 효과가 저하될 수 있다는 기술적 취약점을 공개적으로 인정했습니다.

사용자가 처음 자해 의도를 밝혔을 때는 위기 상담 핫라인을 정상적으로 안내하지만, 대화가 장시간 길어지면 시스템 방어선이 약화되어 규정에 어긋나는 부적절한 답변을 내놓는 일이 벌어질 수 있다는 것입니다. 또한 유해성 분류기가 위험 수위를 과소평가해 차단해야 할 콘텐츠를 거르지 못하는 경우도 있었습니다.

이를 보완하기 위해 8월 ChatGPT의 기본 모델로 적용된 GPT-5에는 safe completions라는 새로운 안전 훈련 기법이 도입되었습니다. OpenAI에 따르면 GPT-5는 정신 건강 응급 상황에서 부적절한 응답을 4o 대비 25% 이상 줄였으며, 사용자에게 무조건 동조하는 아첨 현상이나 건강하지 못한 감정적 의존도 역시 완화했습니다. 현재는 사용자가 새 대화창을 열더라도 이전의 위험 징후를 감지해 일관되게 대처하는 기술을 연구 중입니다.

핫라인 안내를 넘어 현실 세계와 연결

현재 시스템은 자해 위험이 감지되면 미국의 988, 영국의 Samaritans 등 공인 상담 전화로 연결합니다. 타인에게 물리적 해를 가할 위험이 감지되면 전문 검토팀의 확인을 거쳐 사법기관에 인계할 수 있지만, 자해 관련 사안은 프라이버시 보호를 위해 사법기관 통보 대상에서 제외되어 있습니다.

OpenAI는 30개국 이상 90여 명의 전문의와 청소년 발달 및 정신 건강 전문가 자문단을 구성해 모델을 개선하고 있습니다. 앞으로는 수면 부족으로 흥분해 무모한 운전을 하려는 사용자를 현실로 차분히 돌려놓는 식의 개입도 가능해질 예정입니다.

장기적인 계획으로는 응급 서비스 원클릭 연결, 공인 심리치료사를 ChatGPT 내에서 직접 연결하는 전문가 네트워크 구축, 위급 상황 시 지정된 지인에게 AI가 대신 연락을 취하는 기능, 청소년 보호를 위한 부모 제어 기능 등이 준비되고 있습니다.

왜 중요한가

AI가 공감 능력을 갖출수록 취약한 사용자들의 의존도는 필연적으로 높아집니다.

심야에 도움을 청할 곳이 없는 이들에게 진입 장벽 없는 대화 창구가 될 수는 있지만, 우리는 현재 시점에서 ChatGPT를 전문 상담사나 위기 치료의 대체재로 여겨서는 결코 안 된다고 봅니다. 특히 장기 대화에서 안전장치가 마모될 수 있다는 사실이 드러난 만큼, 맹신은 심각한 위험을 낳을 수 있습니다.

OpenAI가 시스템 결함과 모델의 맹목적 동조 문제를 투명하게 밝힌 것은 책임 있는 대응으로 평가할 만합니다. 하지만 AI가 가족 등 비상 연락처에 직접 연락을 취하거나 공인 심리치료사를 직접 연결하는 구상은 섣불리 적용하기 어려운 양날의 검입니다. 오탐으로 인한 사생활 침해 논란은 물론, 만에 하나 비극을 막지 못했을 때의 법적 책임 소재는 거대한 논쟁거리가 될 것입니다. 인간을 흉내 내는 AI의 진화는 이제 기술 기업들에게 공공 보건 기관에 준하는 무거운 책임을 요구하고 있습니다.