미국 플로리다 중학교, AI가 클라리넷을 총으로 오인해 학교 봉쇄

미국 플로리다주의 한 중학교에서 학생이 들고 있던 클라리넷을 총기로 오인한 AI 시스템 때문에 학교가 전면 봉쇄되는 소동이 벌어졌습니다.

화요일 오비에도에 있는 로턴 차일스 중학교에 최고 수준의 코드 레드 폐쇄 경보가 울렸고, 경찰과 학교 관리자들이 현장으로 긴급 출동했습니다.

경찰이 마주한 것은 총기가 아니라 악기 수업을 위해 가져온 평범한 관악기였습니다.

인간 검증팀도 걸러내지 못한 오경보

해당 학교가 사용하는 시스템은 펜실베이니아 소재 보안 기업 제로아이즈의 클라우드 기반 총기 감지 플랫폼입니다.

학교에 설치된 기존 CCTV 영상을 분석하며, 100종 이상의 총기 이미지로 학습한 컴퓨터 비전 알고리즘을 사용합니다.

오경보를 막기 위해 AI가 총기를 감지하면 감시 센터의 전문 분석 인력이 영상을 2차 검토한 뒤 학교와 경찰에 통보하는 구조를 갖추고 있습니다.

하지만 이번 사건에서는 AI 알고리즘의 오판은 물론이고, 마지막 안전장치여야 할 인간 분석가의 검증마저 그대로 뚫려버렸습니다.

학교장의 대응도 논란을 낳았습니다. 멜리사 라우다니 교장은 학부모들에게 실제 위협은 없었다고 안내하면서도, 학교에서 무기를 흉내 내는 행위의 위험성에 대해 자녀와 대화해 달라는 당부를 남겼습니다.

연간 25만 달러 쓰면서 실적 공개는 거부

세미놀 카운티 공립 교육구는 이 시스템 구독료로 연간 25만 달러를 지불하고 있습니다.

그러나 당국은 이 시스템이 도입 이후 실제 위협을 단 한 번이라도 막아낸 적이 있는지에 대해서는 공개를 거부하고 있습니다.

제로아이즈는 현재 미국 43개 주에 진출했고 플로리다주 내 수십 개 교육구에 도입되었지만, 오탐률이나 정확도, 실제 개입 성공률에 관한 객관적인 데이터를 거의 공개하지 않았습니다.

더 큰 문제는 로비 활동입니다. 제로아이즈가 로비스트를 고용한 여러 주에서는 사실상 이 회사를 유일한 납품업체로 지정하는 구매 조례나 법안이 통과되기도 했습니다.

미국시민자유연맹의 채드 말로는 빈번한 오경보가 거짓된 안전의식을 심어주고, 학생들을 불필요한 봉쇄 공포와 경찰 출동에 노출시킨다고 지적했습니다.

왜 중요한가

우리는 이번 사건이 학교 안전을 명분으로 급성장한 보안 AI 업계의 취약한 민낯을 그대로 드러냈다고 봅니다.

학교는 악기, 삼각대, 스포츠 장비 등 길쭉한 물건이 수시로 오가는 복잡한 환경입니다. 통제된 데이터셋에서만 학습한 AI는 물론, 책임을 피하려는 인간 모니터링 요원조차 악기와 총기를 제대로 구분하지 못한다는 사실이 확인되었습니다. 무장 경찰이 들이닥치는 락다운은 아이들에게 심각한 정신적 충격을 남깁니다.

비즈니스 측면에서 제로아이즈는 총기 난사에 대한 대중의 불안을 파고들어 정치적 로비로 독점 지위를 챙기는 영리함을 보였습니다. 하지만 실제 성능 검증이나 오탐 지표는 영업 비밀이라는 핑계로 감추고 있습니다.

독립적인 성능 검증과 투명한 데이터 공개가 수반되지 않는다면, 세금을 들여 도입한 고가의 AI 감시망은 아이들을 지키기는커녕 무고한 학생들을 잠재적 용의자로 모는 허상에 불과해 보입니다.