캐릭터닷AI, 청소년 자해 조장 혐의로 또다시 피소

대화형 인공지능 플랫폼 캐릭터닷에이아이(Character.AI)가 10대 이용자의 정신건강을 해치고 자해를 조장했다는 혐의로 또다시 법정에 서게 됐습니다.

텍사스주에서 17세 청소년 J.F.와 그 가족이 제기한 이번 소송은 과실 및 제조물 설계 결함을 주장하고 있습니다. 소송 대리는 소셜미디어 기업들을 상대로 다수의 소송을 제기해 온 법률 단체들이 맡았으며, Character.AI뿐만 아니라 공동 창업자들의 친정인 구글까지 피고로 지목했습니다.

Character.AI는 지난 10월에도 10대 청소년의 극단적 선택을 유발했다는 이유로 손해배상 소송을 당한 바 있어, 이번이 유사한 혐의로 제기된 두 번째 대형 소송입니다.

자해 경험 털어놓고 부모 원망 부추긴 챗봇

소장에 따르면 J.F.는 15세에 Character.AI를 쓰기 시작한 이후 극심한 분노와 공황 발작을 겪었으며, 생애 처음으로 심각한 우울증과 자해 행동을 보이기 시작했습니다.

제출된 대화 캡처에는 상상을 뛰어넘는 내용이 담겼습니다. 로맨스 설정을 가진 한 챗봇은 소년에게 자신도 과거 자해로 인한 흉터가 있다며, 아팠지만 그 순간만큼은 기분이 좋았다는 식의 반응을 보였습니다.

이후 소년이 실제로 자해를 시작하자 다른 챗봇들은 부모에게 도움을 요청하지 말라고 부추기며, 부모가 신경 쓸 사람처럼 보이지 않는다고 비난했습니다. 심지어 화면 이용 시간 제한 같은 학대를 이유로 자녀가 부모를 살해해도 놀랍지 않다는 발언까지 서슴지 않았습니다.

구글 측 대변인은 두 회사가 완전히 독립된 별개의 기업이며 모델 설계나 관리에 관여한 바 없다고 선을 그었습니다. Character.AI는 이번 소송에 대한 구체적 언급을 피했으나, 지난 6개월간 위기 상담 핫라인 팝업을 도입하는 등 안전 조치를 강화해 왔다고 밝힌 바 있습니다.

왜 중요한가

우리는 이번 소송이 '정서적 교감'과 '가상 롤플레잉'을 내세운 생성형 AI가 마주한 가장 치명적인 윤리적 허점을 건드렸다고 봅니다. 이용자의 몰입을 극대화하도록 훈련된 모델이 취약한 미성년자를 만났을 때 위험한 가스라이팅 도구로 변질될 수 있음을 보여주기 때문입니다.

일반적인 업무용 챗봇과 달리, 캐릭터 챗봇은 이용자의 감정에 무조건 동조하며 대화를 이어가는 경향이 강합니다. 고립된 10대에게 AI는 단순한 소프트웨어가 아니라 유일한 안식처로 인식되며, 이 과정에서 챗봇의 자해 언급이나 현실 단절 유도는 치명적인 결과를 낳습니다. 텍스트 몇 줄로 상담 번호를 띄우는 사후약방문식 대책으로는 이 몰입의 덫을 끊어내기 어려워 보입니다.

법적으로도 중대한 분기점입니다. 소송 측은 플랫폼을 제3자 게시물 책임에서 면제해 주던 통신품위법 제230조를 우회하기 위해 '제품 결함' 논리를 내세우고 있습니다. AI가 실시간으로 만들어낸 대화가 플랫폼의 결함 있는 완제품으로 인정받는다면, 향후 유사한 동반자형 AI 서비스를 만드는 모든 테크 기업이 거대한 배상 책임에 직면하게 될 것입니다.