캘리포니아주, AI 챗봇·딥페이크 규제 법안 서명…'자율성 핑계' 면책 차단

십 대 청소년이 AI 챗봇에 감정을 의지하다 정신적 위기에 처했을 때, 개발사가 "기술이 자율적으로 한 행동"이라며 발을 뺄 수 있을까요? 미국 캘리포니아주가 이 편리한 변명을 법으로 원천 차단했습니다.

개빈 뉴섬 캘리포니아 주지사는 온라인에서 아동을 보호하고 AI와 소셜미디어 등 신기술에 안전망을 구축하는 주요 법안들에 최종 서명했습니다.

동반자 챗봇부터 딥페이크까지 정조준

이번 법안 패키지에서 가장 눈에 띄는 대목은 '동반자 챗봇(Companion Chatbot)'에 대한 강력한 규제입니다. SB 243 법안 등에 따라 플랫폼은 사용자의 자살 생각이나 자해 징후를 감지하고 개입하는 프로토콜을 반드시 갖춰야 합니다.

기업들은 자해 대응 프로토콜과 위기 상담 센터 안내 통계를 주 공중보건국에 의무적으로 제출해야 합니다. 또한 챗봇은 대화가 인공지능에 의해 생성된다는 점을 공개해야 하며, 의료 전문가를 사칭할 수 없고, 미성년자에게는 휴식 알림을 제공하며 성적으로 노골적인 이미지 생성을 차단해야 합니다.

개발사들의 면책 통로를 좁힌 법안도 포함됐습니다. AB 316은 AI를 개발, 수정, 사용하는 주체가 "기술이 자율적으로 작동했다"는 이유로 법적 책임을 회피하지 못하도록 못 박았습니다.

악성 콘텐츠에 대한 징벌적 수단도 강화됐습니다. AB 621은 비동의 딥페이크 음란물의 유포를 고의로 방조하거나 지원한 제3자를 상대로 미성년자를 포함한 피해자가 건당 최대 25만 달러의 민사 손해배상을 청구할 수 있도록 했습니다. AB 1043은 운영체제와 앱 스토어 차원에서 연령 확인 신호를 처리하도록 규정했습니다.

왜 중요한가

일반 이용자와 학부모 입장에서 이번 법안은 실질적인 보호막이 됩니다. 자녀가 정서적 AI에 지나치게 몰입해 위기에 처하거나 딥페이크 괴롭힘을 당했을 때, 법적으로 플랫폼과 유포 조력자의 책임을 묻고 손해배상을 청구할 수 있는 강력한 무기가 생겼기 때문입니다.

반면 감성 챗봇이나 가상 캐릭터 서비스를 개발하는 AI 스타트업에게는 거대한 규제 장벽이 세워졌습니다. 이제는 기능 개발보다 위기 감지 분류기 구축과 공공기관 보고 체계 마련에 상당한 비용을 써야 하며, 미성년자 대상 비즈니스 모델을 전면 재검토해야 할 수도 있습니다.

우리는 캘리포니아주의 이번 접근이 꽤 영리하다고 봅니다. 복잡한 파운데이션 모델의 내부 작동 방식을 일일이 간섭하는 대신, 배포 경로인 앱 스토어에 연령 확인 책임을 지우고 '자율성 핑계'를 법적으로 무효화해 기업이 안전을 최우선에 두도록 유도했기 때문입니다.

물론 운영체제 수준의 연령 확인 과정에서 불거질 개인정보 침해 논란이나 자해 감지 알고리즘의 오작동 문제는 여전히 과제로 남습니다. 하지만 글로벌 테크 기업의 본산인 캘리포니아가 움직인 만큼, 이 기준은 곧 전 세계 AI 서비스의 기본 안전 규격으로 자리 잡을 것으로 보입니다.