Xbox, AI로 악성 메시지 차단：처리 속도 88% 향상

멀티플레이 게임을 마치고 로비로 나왔을 때, 낯선 계정이 보낸 스팸이나 광고 쪽지가 가득 차 있는 경험은 게이머라면 누구나 겪어봤을 피로감입니다.

마이크로소프트 Xbox가 다섯 번째 투명성 보고서를 발표했습니다. 보고서에 따르면 Xbox는 2024년 1월부터 6월까지 신규 AI 도구와 친구가 아닌 사용자 간 메시지 차단 방식을 도입해 커뮤니티 기준을 위반한 1,900만 건의 유해 텍스트, 이미지, 비디오를 사전에 차단했습니다.

신고 처리와 사전 차단을 맡은 두 가지 AI

이번 안전 조치의 핵심은 인간 운영팀을 돕기 위해 설계된 두 개의 AI 도구입니다.

첫 번째 도구는 지난 2월 도입된 'Xbox AutoMod'입니다. 사용자가 신고한 콘텐츠를 분류하고 처리하는 작업을 보조하며, 지금까지 120만 건의 사례를 처리해 유해 콘텐츠 삭제 속도를 88% 단축했습니다.

두 번째 도구는 지난 7월 도입된 선제적 대응 AI입니다. 플레이어의 신고를 기다리지 않고 스팸과 무단 광고성 메시지를 미리 감지해 수신함에 도달하지 못하도록 가로챕니다. Xbox는 향후 이 시스템을 다른 유형의 유해 행위 차단으로도 확장할 계획입니다.

단순하고 반복적인 스팸 정리는 AI가 도맡고, 맥락 파악이 필요한 까다로운 사안에는 전문 인간 모더레이터가 집중할 수 있도록 분업 체계를 만든 셈입니다.

파티 찾기를 노린 봇 군단과 유저들의 반격

AI뿐 아니라 게이머들의 직접 신고도 중요한 역할을 했습니다. 특히 이번 상반기에는 함께 게임할 유저를 찾는 '그룹 찾기(LFG)' 기능에 스팸 봇 계정이 대거 침투했습니다.

게이머들이 적극적으로 신고에 나서면서 LFG 관련 신고 건수는 200만 건으로 2배 급증했고, 전체 플랫폼 신고 건수도 8% 증가한 3,000만 건을 기록했습니다. Xbox는 이 데이터를 기반으로 지난 1월 32만 건 수준이던 부정 계정 제재 건수를 4월 한 달 동안 170만 건까지 끌어올려 대대적인 정리에 나섰습니다.

산하 게임 스튜디오들도 유해 환경 개선에 동참하고 있습니다. 마인크래프트 베드락 에디션은 부적절한 채팅 감지 시 즉시 계정을 정지하는 대신 경고 메시지를 띄워 스스로 대화를 돌아보도록 유도하는 기능을 도입했습니다. 콜 오브 듀티 역시 2023년 11월 이후 20개 언어에 걸쳐 4,500만 건 이상의 유해 텍스트를 차단하고 음성 독성을 43% 줄였다고 밝혔습니다.

왜 중요한가

우리는 Xbox가 AI를 전면에 내세우면서도 제재 권한을 섣불리 기계에 전부 넘기지 않은 점을 영리한 선택이라고 봅니다.

게이머들의 대화에는 은어와 유쾌한 도발이 뒤섞여 있어 AI가 자의적으로 계정 정지를 남발하면 대규모 오탐과 유저 반발을 부르기 쉽습니다. Xbox는 선제 차단 대상을 판별이 명확한 스팸과 광고에 한정하고, 유저 신고 건에서는 AutoMod를 인간의 속도를 높여주는 보조 도구로만 활용했습니다.

일반 게이머 입장에서는 모르는 계정으로부터 오는 사기 링크나 불법 광고에 노출될 확률이 눈에 띄게 줄어드는 실질적 혜택이 있습니다. 새롭게 개편된 친구 및 팔로워 설정을 함께 사용한다면 쾌적한 플레이 환경을 직접 체감할 수 있습니다.

업계 전반으로 봐도 커뮤니티의 건전성은 단순한 윤리 문제를 넘어 유저 잔존율을 결정짓는 핵심 지표가 됐습니다. 콜 오브 듀티가 AI 음성 모니터링으로 유해성을 절반 가까이 줄인 성과를 입증한 만큼, 소니 플레이스테이션이나 밸브 같은 경쟁 플랫폼들도 실시간 AI 중재 시스템 도입을 서두르게 될 것으로 보입니다.