로블록스, 아동 보호 AI '센티넬' 오픈소스 공개…일 60억 건 채팅 감시

로블록스(Roblox)가 채팅 패턴을 실시간 분석해 아동 그루밍과 위해 행위를 적발하는 AI 안전 도구 '센티넬(Sentinel)'을 오픈소스로 공개했다.

단순한 비속어 차단을 넘어, 검열망을 피하려고 악성 행위자들이 사용하는 은어나 간접적 표현 같은 위험 패턴을 잡아내도록 설계된 모델이다.

어떤 기능을 제공하나

센티넬은 실시간 채팅 데이터 속에서 아동 대상 위협을 상시 감시하는 방어 도구다.

로블록스 자체 플랫폼에서는 매일 60억 건이 넘는 대화 메시지를 실시간으로 모니터링하고 있다.

2025년 들어 지금까지 미국 국립실종학대아동센터(NCMEC)에 신고된 1200건의 아동 착취 의심 사례를 식별하는 데 결정적인 역할을 했다.

가장 강력한 강점은 사전 적발이다. 로블록스에 따르면 2025년 상반기 센티넬이 포착한 전체 사건 중 35%는 이용자나 학부모의 신고가 접수되기도 전에 시스템이 먼저 찾아냈다.

어떻게 작동하나

센티넬은 문장 하나만 떼어놓고 보지 않고 대화의 흐름과 맥락을 본다.

작동 방식의 핵심은 '1분 단위 스냅샷(one-minute snapshots)'이다. 1분 동안 오간 대화 흐름을 한 단위로 묶어 분석하면서, 유인 행위의 징후가 포착되면 추가 조사를 위해 플래그를 지정하고 추적한다.

이 시스템은 과거 로블록스의 아동 안전 정책을 위반했던 실제 사건 데이터를 토대로 학습됐다. 과거의 위반 패턴과 실시간 대화의 맥락을 비교해 잠재적 위험을 판단하는 식이다.

로블록스는 센티넬을 단독으로 쓰지 않고, 기존 모더레이션 엔진과 최근 출시한 13세 이상 지인 대화 기능인 'Trusted Connections' 등과 결합해 다층 방어 체계를 꾸리고 있다.

왜 중요한가

청소년이나 아동 이용자가 많은 게임, 커뮤니티, 소셜 서비스를 개발 중인 팀이라면 센티넬의 오픈소스 공개는 매우 실질적인 소식이다.

교묘한 화법을 쓰는 온라인 포식자를 기존 금칙어 필터로 막는 것은 불가능하지만, 하루 수십억 건의 채팅을 맥락 단위로 훑는 AI 파이프라인을 직접 만드는 것 역시 중소 개발사에는 큰 부담이었다.

다만 악성 이용자들의 수법이 계속 진화하는 만큼, 코드를 가져다 쓰더라도 지속적인 튜닝과 전문 검토 인력의 개입은 필수적이다. 그럼에도 신고 접수 전 35% 선제 차단이라는 검증된 성과를 낸 플랫폼 방어 기술을 누구나 열어볼 수 있게 됐다는 점에서 주목할 가치가 충분하다.