米FTC、ドラッグストア大手Rite Aidの顔認識AI使用を5年間禁止に

近所のドラッグストアに風邪薬を買いに行ったら、店員につけ回され、家族の目の前で万引き犯扱いされて警察を呼ばれる。

映画の話ではありません。全米に展開する大手ドラッグストアチェーンのライト・エイド（Rite Aid）の店舗で、長年にわたって実際に起きていた出来事です。無実の買い物客を犯罪者へと仕立て上げたのは、同社がひそかに導入していたAI顔認証監視システムでした。

米連邦取引委員会（FTC）は12月19日、ライト・エイドが適切な安全策を講じずに顔認証技術を運用し消費者に害を与えたとして、同社に対し今後5年間の顔認証監視技術の使用を禁止する処分を下したと発表しました。

画質の荒い写真と、誤検知を信じ込んだ店員たち

FTCの訴状によると、同社は2012年から2020年にかけて、万引き対策を目的に数百の店舗へ顔認証システムを配備していました。

しかし、その運用実態は杜撰そのものでした。万引きなどの疑いがある「要注意人物」のデータベースを作るため、防犯カメラの低画質な静止画や、従業員のスマートフォンで撮影した写真、果てはニュース番組のキャプチャ画像まで、数万枚の低品質な画像が登録されていました。

質の悪いデータを使えば、当然システムは誤作動を起こします。何千回もの誤検知（フォールスポジティブ）が発生し、何千マイルも離れた場所の事件と紐付けられたり、同一人物が全米各地の何十店舗で同時に検知されたりする異常事態が起きていました。

さらに、FTCの調査によれば、黒人やアジア系住民の割合が高い地域の店舗では、白人が多い地域に比べて誤検知がより頻繁に発生していました。

問題は技術だけに留まりません。同社は顧客に顔認証の利用を一切告知せず、従業員に対しても外部への口外を控えるよう指示していました。誤検知のアラートが出ると、従業員はそれを鵜呑みにして客を付け狙い、荷物を検査し、店から追い出し、警察を呼ぶなどの強硬な対応をとっていました。

5年間の禁止と、収集データ・アルゴリズムの破棄

FTCの調べでは、同社は導入前に顔認証の精度テストを一切行っておらず、ベンダー側に精度の検証データを求めることすらしませんでした。

今回の合意案では、5年間の顔認証監視の禁止に加えて、非常に重い命令が下されています。収集したすべての顔画像はもちろんのこと、それらのデータを用いて開発されたアルゴリズムや派生プロダクトもすべて破棄しなければなりません。

また、将来的に生体認証を導入する場合には、店舗での明確な掲示、データベースへの登録通知、第三者機関による定期監査、CEOによる毎年のコンプライアンス報告などが義務付けられます。なお、同社は現在経営破綻して連邦破産法第11条の手続き中であり、本命令は裁判所の承認を経て正式に発効します。

なぜ重要か

一般の消費者にとって、本件は商業施設で密かに広がるAI監視の危うさを白日の下にさらしました。本人が気づかないうちに監視対象となり、精度の怪しいAIのせいで誤認逮捕や名誉毀損のリスクを背負わされる構造が浮き彫りになったと言えます。

小売業界やセキュリティ業界への影響も小さくありません。万引き防止のためにAIを導入する動きは盛んですが、「ベンダー製システムを無検証のまま現場に丸投げする」アプローチには法的・経営的なレッドカードが突きつけられました。

私たちは、FTCが科した「アルゴリズムの破棄命令」にこそ大きな意義があると考えます。破産手続き中の企業に金銭的ペナルティを科しても効果は薄いですが、不適切に集めたデータだけでなく、それを使って作られたAI資産そのものを廃棄させる手法は、業界全体への強力な抑止力になります。現場の人手不足をAIで補うにしても、検証プロセスと人間のブレーキ役を省いてはならないという重い教訓です。