美 경찰, AI로 사건 보고서 작성: GPT-4로 바디캠 음성 분석해 8초 만에 초안 완성
AP통신에 따르면 오클라호마시티 등 미국 경찰서들이 Axon의 AI 도구 'Draft One'을 도입해 사건 보고서를 작성하고 있다. GPT-4 기반으로 바디캠 음성을 분석해 8초 만에 초안을 만들어 업무를 덜어주지만, 인종 편향과 할루시네이션이 공문서에 반영될 수 있다는 우려도 제기된다.

용의자 수색을 마친 경찰관의 바디캠에는 현장에서 오간 모든 대화는 물론 경찰견의 짖는 소리까지 고스란히 녹음됩니다.
과거라면 컴퓨터 앞에 앉아 한참을 작성해야 했을 출동 보고서가, 오디오 파일을 넣자마자 단 8초 만에 초안으로 뽑혀 나옵니다.
미국 일부 경찰서에서 테스트 중인 이 도구의 이름은 Draft One입니다. 테이저건과 경찰용 바디캠 제조사로 유명한 Axon이 개발했으며, 백엔드에는 OpenAI의 GPT-4 모델이 탑재되어 있습니다.
생성형 AI의 창의성 다이얼을 낮추다
수사 보고서 작성에서 가장 치명적인 문제는 바로 AI의 환각 증상입니다.
Axon의 시니어 프로덕트 매니저 Noah Spitzer-Williams는 AP통신과의 인터뷰에서 ChatGPT의 '창의성 다이얼'을 낮춰 일반적인 모델처럼 임의로 살을 붙이거나 거짓 정보를 지어내지 않도록 통제했다고 밝혔습니다.
오클라호마시티 경찰국은 검찰의 권고에 따라 중범죄나 강력 범죄, 체포로 이어지지 않는 경미한 사건에만 Draft One을 제한적으로 활용하고 있습니다.
반면 콜로라도주 포트콜린스와 인디애나주 라피엣 경찰국은 이미 모든 사건의 보고서 작성 보조 도구로 전면 도입했으며, 현장 경찰관들 사이에서 큰 인기를 끌고 있다고 전했습니다.
Axon은 인종적 편향성을 검증하기 위해 382건의 보고서 샘플을 바탕으로 일관성과 완전성, 단어 강도 등을 평가한 결과 원본 녹취록과 통계적으로 유의미한 차이가 없었다고 발표했습니다.
경찰관의 방심과 잠재적 언어 편향
하지만 법학계와 시민사회의 시선은 곱지 않습니다. 법학자 Andrew Ferguson은 AP통신을 통해 자동화의 편리함 때문에 경찰관들이 서류 검토 과정에서 부주의해질 수 있다고 경고했습니다.
거대언어모델 자체의 편향도 문제입니다. 언어학 연구에 따르면 GPT-4 같은 모델은 아프리카계 미국인 영어 등 특정 방언에 대해 은연중에 부정적인 고정관념을 드러내는 경향이 있습니다.
Axon은 모든 보고서를 담당 경찰관이 직접 검토하고 승인해야 최종 제출되도록 안전장치를 마련했다고 해명했습니다.
한편 Axon은 영상 화면까지 AI로 분석해 요약하는 기술도 테스트했으나, 인종과 신원 확인 등 치안 분야의 민감성을 고려해 영상 기반 요약 도입은 당분간 보류하기로 했다고 Rick Smith CEO가 밝혔습니다.
왜 중요한가
서류 작업에 치이던 경찰관의 행정 부담을 덜어주고 치안 현장에 더 많은 시간을 쏟게 한다는 점에서 Draft One의 생산성 혁신은 분명 매력적입니다.
하지만 우리는 '인간 경찰관의 검토'만을 유일한 안전장치로 내세운 방식에는 심각한 허점이 있다고 봅니다.
사람은 피로해지면 자동화된 시스템을 맹신하기 마련입니다. 8초 만에 그럴듯하게 완성된 법률적 문장을 바쁜 경찰관이 일일이 대조하지 않고 무비판적으로 승인하는 관행이 굳어질 위험이 매우 큽니다.
공권력 행사의 투명성을 확보하기 위해 도입된 바디캠 데이터가, 이제는 대형 언어모델을 거치며 편향된 텍스트로 탈바꿈할 수 있다는 점도 뼈아픕니다. 법적 처벌과 직결되는 공문서 작성 영역인 만큼, 제조사의 내부 검증을 넘어선 엄격한 제도적 통제가 필요해 보입니다.
출처 (1)
- zdnet.com(새 탭에서 열림)원문zdnet.com