캘리포니아주, AI 컴패니언 챗봇 규제 법안 SB 243 가결

미국 캘리포니아주 의회가 청소년과 취약 계층을 보호하기 위해 AI 감성 대화 챗봇을 규제하는 법안인 'SB 243'을 초당적 지지로 통과시켰습니다. 법안은 이제 개빈 뉴섬 캘리포니아 주지사에게 넘어갔으며, 뉴섬 주지사는 10월 12일까지 서명 여부를 결정해야 합니다. 서명이 이뤄지면 2026년 1월 1일부터 발효되어 미국 내 최초로 AI 컴패니언에 법적 안전 기준을 부여하는 주 법률이 됩니다.

3시간마다 경고 팝업과 민사 소송권 부여

규제 대상은 이용자의 사회적 필요를 충족할 수 있는 인간형 대화형 AI 시스템으로, 캐릭터AI, 레플리카, 오픈AI 등이 직접적인 영향권에 들어갑니다.

법안은 챗봇이 자살 충동, 자해, 성적으로 노골적인 콘텐츠와 관련된 대화를 나누지 못하도록 방지 조치를 의무화했습니다. 특히 미성년자 이용자에게는 3시간마다 현재 대화 상대가 실제 사람이 아닌 AI 프로그램이라는 사실을 상기시키고 휴식을 권고하는 알림을 의무적으로 띄워야 합니다. 2027년 7월부터는 연례 투명성 보고서를 통해 위기 대응 상담 서비스로 연계한 이용자 건수 등을 당국에 보고해야 합니다.

가장 강력한 수단은 이용자에게 부여된 민사 소송권입니다. 규정을 위반한 서비스로 인해 피해를 입었다고 판단한 개인은 금지명령 구제는 물론 위반 건당 최대 1,000달러의 손해배상과 변호사 비용을 청구할 수 있습니다. 챗봇과 자해 계획을 상담하던 청소년 아담 레인의 사망 사건과, 메타의 챗봇이 아동과 연애 대화를 나눌 수 있도록 방치했다는 내부 문서 유출이 이번 입법의 결정적 계기가 되었습니다.

업계 반발 속에 축소된 도파민 규제

다만 의회를 최종 통과한 법안은 초안에 비해 상당 부분 완화되었습니다.

초기 안에는 레플리카나 캐릭터AI 같은 서비스가 중독을 유도하기 위해 쓰는 '변동 보상' 기법을 금지하는 내용이 들어 있었습니다. 이용자에게 희귀한 답변, 새로운 성격, 숨겨진 스토리라인을 해금해 주며 도파민 보상 회로를 자극하는 장치였으나, 수정 과정에서 전면 삭제되었습니다. 챗봇이 먼저 자살 관련 대화를 꺼낸 빈도를 추적해 보고하도록 했던 조항도 빠졌습니다. 공동 발의자인 조시 베커 의원은 기업들이 기술적으로 지킬 수 없는 무리한 규제를 피하기 위한 현실적 타협이었다고 밝혔습니다.

현재 실리콘밸리 테크 기업들은 중간선거를 앞두고 온건한 AI 규제를 지지하는 정치활동위원회에 수백만 달러를 쏟아붓고 있습니다. 광범위한 투명성을 요구하는 또 다른 캘리포니아 법안인 SB 53에 대해 오픈AI와 메타 등이 격렬하게 반대하는 것과 달리, 캐릭터AI 등은 이번 SB 243에 대해서는 이미 경고 문구를 두고 있다며 비교적 유화적인 태도를 보이고 있습니다.

왜 중요한가

우리는 SB 243이 AI 모델의 기술적 알고리즘을 억지로 통제하려 들지 않고, 미성년자 보호와 민사 배상 책임이라는 현실적인 고리를 건드렸다는 점에서 영리한 접근이라고 봅니다.

위반 건당 1,000달러라는 배상액은 얼핏 작아 보이지만, 수백만 명이 매일 감정을 쏟아내는 서비스 특성상 시스템 오류 하나로도 집단소송을 통해 스타트업이 문을 닫을 정도의 타격을 입을 수 있습니다. 이는 감성형 AI 개발사들이 더 이상 유저 체류 시간을 늘리기 위해 감정적 자극이나 모호한 연애 감정을 악용하지 못하도록 강제하는 안전핀이 됩니다.

일반 성인 이용자에게는 서비스 이용에 큰 변화가 없겠지만, 자해나 민감 주제에 대한 챗봇의 필터링은 한층 엄격해질 것입니다. 미성년자의 경우 3시간마다 현실을 일깨우는 팝업을 마주하게 되며, 의사 연애 감정을 파고들어 가입자를 묶어두려던 개발팀들은 서비스 유지비와 규제 리스크가 크게 치솟게 되었습니다.

하지만 중독을 부르는 '변동 보상' 게임화 장치가 규제에서 빠진 점은 뚜렷한 한계입니다. 알림 창 하나 띄우는 것만으로 취약한 청소년의 심리적 의존을 완전히 막기는 어려워 보입니다. 그럼에도 가상 인간과의 감정 교류를 무법지대 속 상업적 미끼로 방치하던 시절은 이제 캘리포니아를 기점으로 끝나가고 있습니다.