미 FTC, 오작동으로 무고한 고객 잡은 라이트 에이드 'AI 안면인식' 5년 금지

동네 약국에 감기약을 사러 들어갔다가 갑자기 직원들에게 둘러싸여 미행을 당하고, 가족들이 보는 앞에서 절도범 취급을 받으며 경찰에 넘겨지는 일이 벌어진다면 어떨까요.

영화 속 이야기가 아닙니다. 미국 대형 약국 체인인 라이트 에이드(Rite Aid)의 수백 개 매장에서 지난 수년간 실제로 일어났던 일입니다. 무고한 쇼핑객들을 하루아침에 절도 용의자로 둔갑시킨 범인은 매장에 비밀리에 도입된 AI 안면인식 감시 시스템이었습니다.

미국 연방거래위원회(FTC)는 12월 19일, 라이트 에이드가 합리적인 안전장치 없이 안면인식 기술을 무분별하게 배포해 소비자에게 피해를 줬다며, 향후 5년 동안 안면인식 감시 기술의 사용을 전면 금지하는 제재를 내렸다고 발표했습니다.

저화질 폰카 사진으로 만든 엉터리 AI 감시망

FTC의 고발장에 따르면 라이트 에이드는 2012년부터 2020년까지 매장 내 절도범을 잡겠다는 명목으로 인공지능 안면인식 시스템을 가동했습니다.

하지만 시스템 구축 과정은 황당할 정도로 허술했습니다. 외부 업체와 협력해 절도 의심자 데이터베이스를 만들면서, 폐쇄회로 TV의 흐릿한 캡처 화면, 직원이 개인 스마트폰 카메라로 대충 찍은 사진, 심지어 인터넷 뉴스 캡처본까지 수만 장의 저품질 이미지를 그대로 긁어모아 학습시켰습니다.

결과는 수천 건에 달하는 오작동이었습니다. 수천 킬로미터 떨어진 곳의 절도 용의자와 일반 고객을 동일 인물로 매칭하는가 하면, 한 사람의 얼굴이 미국 전역의 수십 개 매장에서 동시에 감지되는 황당한 오류가 속출했습니다.

편향성 문제도 심각했습니다. 흑인과 아시아계 주민이 많은 지역 매장의 오인율이 백인 거주 지역보다 훨씬 높게 나타났습니다.

더 큰 문제는 매장의 대처였습니다. 라이트 에이드는 고객들에게 안면인식 시스템 작동 사실을 전혀 알리지 않았고, 직원들에게도 외부에 발설하지 말라고 지시했습니다. 시스템 경보가 울리면 제대로 훈련받지 않은 직원들은 AI의 판단을 맹신해 고객을 뒤쫓고, 짐을 뒤지고, 매장에서 쫓아내거나 경찰을 불렀습니다.

5년 사용 금지와 알고리즘 폐기 처분

조사 결과 라이트 에이드는 시스템 도입 전 정확도 테스트를 전혀 진행하지 않았으며, 공급업체에 성능 검증 자료를 요구하지도 않았던 것으로 드러났습니다.

FTC의 이번 합의안은 강력합니다. 5년간 안면인식 감시 기술 사용이 전면 금지될 뿐만 아니라, 그동안 수집한 얼굴 사진 데이터와 이를 활용해 개발한 모든 알고리즘 및 소프트웨어를 전부 폐기해야 합니다.

향후 생체인식 기술을 다시 쓸 때도 매장 내 명확한 고지, 데이터베이스 등록 시 당사자 통보, 독립 기관의 정기 감사, CEO의 매년 이행 서약서 제출이 의무화됩니다. 현재 파산보호 절차를 밟고 있는 라이트 에이드는 법원 승인을 거쳐 이번 명령을 최종 수용하게 됩니다.

왜 중요한가

일반 소비자의 관점에서 이번 사건은 감시형 상업 AI의 가장 어두운 그림자를 적나라하게 보여줍니다. 자신도 모르는 사이에 생체 정보가 수집되고, 엉터리 알고리즘 때문에 모욕과 법적 위험을 떠안아야 하는 부당한 현실을 확인시켜 줬기 때문입니다.

유통업계와 보안 솔루션 업계에도 강력한 경고입니다. 매장 도난 방지 목적으로 AI 기술을 서둘러 도입하는 곳이 많지만, 검증되지 않은 모델을 무턱대고 현장에 깔았다가는 치명적인 법적 책임을 피할 수 없게 되었습니다.

저희는 FTC가 내린 '알고리즘 폐기 명령'이 매우 영리한 조치였다고 봅니다. 파산 절차를 밟는 기업에 수백억 원의 과징금을 물리는 것보다, 부당하게 모은 데이터와 이를 바탕으로 만든 인공지능 자산 자체를 파괴하도록 강제하는 것이 훨씬 실질적이고 강력한 제재 수단이기 때문입니다. 자동화 기술을 도입할 때는 반드시 철저한 검증과 인간의 교차 확인 장치가 수반되어야 한다는 뼈아픈 교훈을 남겼습니다.