MS, 미국 경찰의 Azure OpenAI 안면인식 사용 금지

경찰의 바디캠에 생성형 AI가 들어가는 시대가 다가오면서, 빅테크가 먼저 서비스 약관에 빨간불을 켰습니다.

마이크로소프트는 기업용 AI 서비스인 Azure OpenAI Service의 이용 약관을 개정하고, 미국 경찰 당국이 이 서비스를 안면 인식 용도로 사용하는 것을 명시적으로 금지했습니다.

개정된 약관은 현재 제공 중인 모델은 물론 향후 출시될 이미지 분석 모델까지 포함해, 미국 경찰 부서가 직접 쓰거나 경찰을 위해 안면 인식 기능을 구축하는 행위를 모두 차단합니다.

바디캠 실시간 안면 인식 전면 금지

이번 조치에서 특히 주목할 부분은 미국을 넘어 전 세계 법 집행 기관을 겨냥한 별도 조항입니다.

마이크로소프트는 전 세계 모든 법 집행 기관을 대상으로, 바디캠이나 차량 블랙박스 같은 모바일 카메라를 사용해 통제되지 않은 야외 환경에서 실시간으로 개인을 식별하려는 안면 인식 기술 사용을 전면 금지했습니다.

약관 변경 직후에는 미국 경찰의 Azure OpenAI 사용 자체가 전면 금지된 것으로 알려져 혼선이 있었으나, 마이크로소프트는 초기 문구에 오류가 있었으며 금지 대상은 안면 인식에 국한된다고 정정했습니다. 즉, 조서 요약이나 행정 업무에 AI를 활용하는 것은 여전히 허용됩니다.

이번 규정 개정은 경찰 장비 제조사인 액손(Axon)이 GPT-4를 활용해 바디캠 음성을 자동으로 요약하는 신제품을 공개한 지 약 일주일 만에 이뤄졌습니다. 당시 인권 단체와 전문가들은 생성형 AI의 환각 현상과 인종적 편향이 경찰 기록에 치명적인 오류를 낳을 수 있다고 강하게 경고한 바 있습니다.

국방 시장과의 선 긋기, 그리고 남겨둔 틈새

마이크로소프트의 이번 조치는 엄격해 보이지만, 공공 및 국방 사업 전반을 포기한 것은 아닙니다.

안면 인식 전면 금지는 미국 경찰에만 적용되며, 사무실 같은 통제된 환경의 고정식 카메라를 통한 안면 인식은 글로벌 이동식 카메라 금지 조항에 포함되지 않습니다.

오히려 마이크로소프트와 OpenAI는 최근 국방 및 안보 분야에서 협력을 넓혀가고 있습니다. 지난 1월 외신 보도를 통해 OpenAI가 미 국방부와 사이버 보안 프로젝트를 진행 중인 사실이 드러났고, 마이크로소프트 역시 군사 작전용 소프트웨어에 DALL-E를 활용하는 방안을 제안했던 것으로 알려졌습니다. 지난 2월에는 공공 기관 전용 클라우드인 Azure Government에 Azure OpenAI를 정식 도입하기도 했습니다.

왜 중요한가

우리는 마이크로소프트가 위험 부담이 가장 큰 뇌관을 영리하게 피했다고 평가합니다.

시민 안전 관점에서 이동형 바디캠을 통한 실시간 얼굴 식별은 가장 위험한 영역입니다. 거리에서 흐릿한 카메라 영상과 모델의 오작동이 결합할 경우 억울한 시민이 용의자로 몰리는 등 돌이킬 수 없는 피해가 발생할 수 있기 때문입니다. 클라우드 플랫폼 차원에서 이 기능을 원천 차단한 것은 의미 있는 제동 장치입니다.

업계 전반으로 보면, 빅테크가 공공 AI 사업에서 취할 표준적인 가이드라인을 보여줍니다. 대중의 반발이 거센 실시간 감시 기술은 과감하게 쳐내되, 막대한 수익이 걸린 문서 요약, 사이버 안보, 국방 인프라 계약은 그대로 유지하는 투트랙 전략입니다.

하지만 남겨진 숙제도 뚜렷합니다. 상용 클라우드 API를 막는다고 해도, 온디바이스에서 구동 가능한 오픈소스 멀티모달 모델이 빠르게 발전하고 있습니다. 하드웨어 제조사가 자체 모델을 기기에 직접 탑재하기 시작하면, 플랫폼의 이용 약관만으로 감시 기술의 확산을 막기는 점점 더 어려워질 것으로 보입니다.