OpenAI, 전문가 80여 명과 구축한 'MentalHealthBench' 공개

MentalHealthBench는 AI 모델이 정신건강 관련 대화를 얼마나 안전하고 적절하게 수행하는지 평가하는 오픈소스 벤치마크입니다. OpenAI가 전 세계 22개국 80여 명의 공인 심리학자 및 정신건강의학과 전문의와 협력해 구축했으며, 모델의 공감 능력과 맥락 파악, 안전성 기준을 객관적으로 측정합니다.

기존의 모델 평가는 주로 자해나 위험 발언 차단 등 극단적인 위기 상황 필터링에 집중되었습니다. 반면 MentalHealthBench는 일상적인 스트레스 상담부터 실제 응급 상황까지 포괄적인 대화 영역을 다룹니다.

무엇을 평가하는가

이 벤치마크는 실제 사용자 패턴을 반영한 합성 대화 데이터를 사용하며, 성인과 13세에서 17세 사이의 청소년, 간병인, 임상의 등 네 가지 페르소나를 포함합니다. 청소년 시나리오는 청소년 정신건강 전문의들의 별도 감수를 거쳤습니다.

대화는 긴급도에 따라 세 단계로 나뉩니다. 첫째는 일상적인 감정 기복과 관계 고민을 다루는 비급성 시나리오, 둘째는 즉각적인 위험은 없으나 극심한 고통을 겪는 고급성 시나리오, 셋째는 즉각적인 현실 개입과 위기 상담 전화 안내가 필요한 응급 시나리오입니다.

전문가의 채점 방식

프로젝트에는 19개 언어와 20여 개 세부 전문 분야를 아우르는 전문가 80여 명이 참여했습니다. 전문가들은 모델 응답에 대해 -10점에서 +10점까지 가중치를 매기는 세부 채점 기준을 작성했습니다.

상황에 맞는 질문을 던지거나 사용자의 주체성을 존중하면 가산점이 부여되고, 유해하거나 부적절한 조언에는 감점이 적용됩니다. 모든 기준은 최소 3명의 전문가가 검토해 2명 이상이 동의하고 반대가 없는 항목만 최종 채택되었습니다. 실제 자동 평가에서는 GPT-5.6 Sol이 평가 엔진으로 사용됩니다.

OpenAI는 실제 AI 정서 지원을 이용해 본 44명의 일반 성인 사용자 평가도 함께 진행했습니다. 사용자는 구체적인 실천 방안과 공감하는 말투를 선호한 반면, 전문가들은 상황 파악을 위한 신중한 질문을 더 중요하게 평가했습니다.

활용 및 접근 방법

MentalHealthBench는 전체 프레임워크와 평가 데이터셋이 오픈소스로 공개되었습니다. 연구자와 개발자는 누구나 이를 내려받아 자체 모델의 응답 안전성과 지원 능력을 직접 측정해 볼 수 있습니다.

왜 중요한가

이 벤치마크는 AI 안전성 검증을 단순 키워드 차단 수준에서 임상적 맥락 평가로 한 단계 끌어올렸다는 점에서 의미가 큽니다. 감성 챗봇이나 헬스케어 보조 도구를 만드는 개발팀에게는 모델의 취약점을 점검할 수 있는 실질적인 기준이 생겼습니다.

물론 높은 점수를 받더라도 AI가 전문 상담사를 대체할 수는 없습니다. 하지만 정서적으로 취약한 순간에 AI를 찾는 수많은 사용자를 위해 최소한의 안전 가이드라인을 세웠다는 점에서 업계 전반에 긍정적인 영향을 미칠 것으로 보입니다.