앤트로픽, AI의 사용자 멘탈헬스 영향 연구에 500만 달러 지원

사람들이 챗봇과 긴 시간 대화를 나누며 위로를 받을 때, AI는 상처를 치유하고 있을까요, 아니면 보이지 않는 곳에서 고립감을 더 키우고 있을까요?

Anthropic은 8월 25일, AI가 사용자의 웰빙과 정신 건강에 미치는 영향을 측정하기 위해 500만 달러 규모의 독립 연구 지원 프로그램을 시작한다고 발표했습니다. 선정된 외부 연구진에게는 직접적인 자금 지원과 함께 Claude 모델 접근 권한, 기술 지원이 제공됩니다.

지원 마감은 9월 21일이며, 정식 제안서 제출 대상자는 10월 5일까지 통보를 받게 됩니다.

단답형 평가로는 잡을 수 없는 위험

코딩이나 수학 능력은 답이 맞았는지만 보면 그만이지만, 사용자의 심리 상태에 미치는 영향은 그렇게 간단히 측정할 수 없습니다.

Anthropic은 기존의 단답형 평가 방식으로는 한계가 뚜렷하다고 짚었습니다. 자해나 극단적 심리 위기 같은 신호는 첫 질문부터 드러나는 것이 아니라, 수십 번의 대화가 이어지는 과정에서 서서히 고조되기 때문입니다.

맥락에 따라 정답이 정반대로 바뀌기도 합니다. 다이어트 방법을 묻는 사용자에게 균형 잡힌 식단과 운동법을 알려주는 것은 일반적인 상황에서는 훌륭한 답변입니다. 하지만 그 사용자가 과거에 섭식 장애를 앓았던 사람이라면, 똑같은 조언이 오히려 심각한 위험을 부를 수 있습니다.

그래서 Anthropic은 까다로운 연구 조건을 내걸었습니다. 임상의와 심리학자 등 실제 전문가가 설계와 검증에 참여해야 하며, 대화가 길어지면서 위험이 점차 커지는 실제 환경을 반영해야 합니다.

주목할 점은 모델이 사용자의 잘못된 생각에 무작정 동조하는 '과도한 순응'뿐만 아니라, 조금만 민감한 이야기가 나와도 대화를 거부해 버리는 '과도한 거부'도 함께 평가해야 한다는 점입니다. 위로가 필요한 사람에게 기계적으로 상담 전화번호만 띄우며 대화를 끊는 것 역시 사용자에게 또 다른 상처를 주기 때문입니다.

선정된 연구팀이 개발한 모든 평가 도구와 벤치마크는 다른 AI 개발사들도 자유롭게 쓸 수 있도록 오픈소스로 공개될 예정입니다.

왜 중요한가

지금 당장 다운로드해서 쓸 수 있는 기능은 아니지만, AI를 감정적인 대화 상대로 소비하고 있는 수많은 사람들에게 매우 중요한 변화입니다.

이미 많은 이들이 챗봇을 유사 치료사나 친구처럼 대하고 있습니다. 하지만 지금까지의 모델들은 위험 신호에 무조건 맞장구를 쳐주는 예스맨이 되거나, 조금만 위험해 보여도 면책 문구만 쏟아내며 방어적으로 대화를 끊어버리는 양극단에 머물러 있었습니다.

우리는 Anthropic이 AI 엔지니어들의 손을 떠나 실제 임상 전문가들에게 마이크를 넘긴 접근법이 꽤 영리하다고 봅니다. 정신 건강이라는 복잡한 영역의 기준을 빅테크가 밀실에서 독단적으로 규정하기보다, 외부 전문가와 함께 오픈소스 잣대를 만드는 편이 훨씬 더 신뢰를 얻을 수 있기 때문입니다.

물론 인간의 심리 상태를 기계적인 채점 시스템으로 완벽히 정량화하는 데는 분명한 한계가 있고, 지나치게 경직된 가이드라인으로 이어질 우려도 남아 있습니다.

그럼에도 불구하고 대화형 AI의 안전성 경쟁이 단순한 욕설이나 오류 차단을 넘어, 화면 앞 사용자의 심리적 안정까지 살피는 단계로 본격적으로 진화하고 있다는 점에서 의미가 큽니다.