로블록스, 욕설 '#####' 대신 AI 순화 도입: 문맥 맞춰 실시간 대체

Roblox를 해본 사람이라면 누구나 긴박한 순간 팀원이 보낸 채팅이 쓸모없는 '###########' 기호로 가려져 답답했던 경험이 있을 것입니다.

Roblox는 3월 5일 이러한 오랜 불편을 해소하기 위해 AI 기반의 실시간 채팅 순화(Rephrasing) 기능을 도입한다고 발표했습니다. 부적절한 단어를 단순 차단 기호로 덮는 대신, 원래 의미를 살린 건전한 문장으로 자동 변환해 주는 방식입니다.

차단벽 대신 핸들을 쥐어주다

Rajiv Bhatia 부사장과 Matt Kaufman 최고안전책임자가 밝힌 이번 기능은 우선 게임 내 비속어를 대상으로 적용됩니다. 예를 들어 다급한 상황에서 입력한 'Hurry tf up!'은 AI를 거쳐 자연스러운 'Hurry up!'으로 바뀌어 전달됩니다.

메시지가 순화되었다는 사실은 대화방의 모든 참가자에게 알림으로 표시됩니다. 팀플레이에 필요한 의사소통 흐름을 끊지 않으면서도, 어떤 표현이 커뮤니티 기준을 벗어났는지 플레이어에게 실시간으로 알려주는 셈입니다.

문장이 곱게 바뀌었다고 해서 제재를 피할 수 있는 것은 아닙니다. 비속어 사용은 여전히 규정 위반으로 기록되며, 반복해서 욕설을 시도하는 사용자는 이전과 동일하게 계정 이용 정지 등의 조치를 받게 됩니다.

현재 이 기능은 연령 인증을 마친 비슷한 연령대의 이용자 및 신뢰할 수 있는 친구 간의 게임 내 텍스트 채팅에만 적용됩니다. 기존 Roblox 자동 번역 시스템이 지원하는 모든 언어에서 바로 작동합니다.

거대 추론 모델로 변형 욕설까지 추적

채팅 순화와 함께 뒷단의 텍스트 필터 시스템도 대폭 강화되었습니다.

기존 시스템은 즉각적인 규칙 기반 차단과 금지어를 잡아내는 소형 특화 모델의 조합이었습니다. 하지만 가벼운 특화 모델은 문맥을 깊게 추론하지 못해, 새롭게 변형되는 은어나 변칙 문자를 판별하는 데 한계가 있었습니다.

Roblox는 여기에 거대 추론 모델을 세 번째 필터로 추가했습니다. 소형 모델이 위반 여부를 확신하지 못할 때 문맥 이해도가 뛰어난 대형 모델로 텍스트를 넘겨 최종 판단을 내리게 한 것입니다.

이를 통해 영문 알파벳 대신 숫자나 기호를 섞어 필터를 피하려는 수법을 정밀하게 잡아낼 수 있게 되었습니다. 특히 전화번호나 소셜 미디어 계정 같은 개인정보를 주고받거나 요구하는 행위의 미탐지율(False negative)은 기존 대비 20배나 줄어들었습니다. Roblox의 최종 목표는 채팅창에서 샵 기호를 완전히 없애는 것입니다.

왜 중요한가

우리는 Roblox의 이번 시도가 온라인 멀티플레이어 환경에서 AI를 가장 실용적으로 활용한 사례 중 하나라고 봅니다.

그동안 대다수 게임의 필터링은 문장 전체를 가려버리는 극단적인 방식을 취해 왔고, 이는 정상적인 팀플레이까지 방해하며 유저 간 갈등을 오히려 키우는 부작용을 낳았습니다. 안전을 지키면서도 협동의 맥락을 살려주는 AI 순화 방식은 매우 영리한 접근입니다.

다만 기술적인 한계와 위험도 공존합니다. AI가 게임 내 은어나 긴박한 감정 표현을 잘못 해석해 왜곡된 문장으로 바꿔버릴 경우, 팀원 간에 또 다른 오해가 생길 수 있습니다. Roblox가 연령 인증 유저를 대상으로 먼저 기능을 제한한 것도 이러한 오작동 리스크를 의식한 결과로 보입니다.

그럼에도 불구하고 이 시스템이 안정적으로 안착한다면, 오랜 시간 단순 금칙어 블랙리스트에만 의존해 온 라이엇이나 밸브 같은 주요 게임사들 역시 AI 기반의 맥락형 채팅 관리 시스템을 도입하지 않을 수 없을 것입니다.