Roblox、児童保護AI「Sentinel」をOSS公開　1日60億件のチャットを監視

Robloxは、チャット内のグルーミング（手なずけ）や児童への危険行為を検知するAIツール「Sentinel」をオープンソースとして公開した。

単純なNGワードの検知にとどまらず、監視の目をかいくぐるために使われる巧妙な言い回しや隠語の会話パターンを暴くために作られた技術だ。

何ができるのか

Sentinelは、リアルタイムの会話ストリームに常駐して子どもを守るセキュリティツールだ。

Robloxのプラットフォーム上では、毎日60億件以上のメッセージをリアルタイムで監視している。

2025年に入ってからすでに、全米行方不明・被搾取児童センター（NCMEC）へ通報された1200件の潜在的な児童搾取事案の特定に貢献した。

特筆すべきは先回りの検知力だ。Robloxの発表によれば、2025年上半期にシステムが検知した事案のうち35%は、被害者側から通報が行われる前に自律的に察知したものだったという。

どのように検知しているのか

Sentinelは1文ごとの判定ではなく、会話の文脈全体を評価する。

システムはチャットログから「1分間のスナップショット」を切り出して分析を行う。短時間の会話のやり取りを観察することでグルーミング特有の兆候を捉え、疑わしい対象にフラグを立てて追跡調査へ回す。

学習には、過去にRobloxの児童安全ポリシーに違反した実際の通報データが使われており、蓄積された危険なアプローチ手法と現在の会話の流れを突き合わせている。

Robloxはこれを単体で運用するのではなく、他のモデレーションツール群や、13歳以上向けの安全機能「Trusted Connections」などと組み合わせて多層的に防御している。

なぜ重要か

未成年者が多く集まるゲームやチャットアプリ、コミュニティを開発・運営しているなら、Sentinelは今すぐチェックすべき実用ツールだ。

悪意あるユーザーの隠語や手口は日々変化しており、単語の一致を見るだけの旧来フィルターは役に立たない。1日数十億件のトラフィックをさばきながら、文脈から危険を察知する仕組みをゼロから構築するのは中小チームには不可能に近い。

もちろん導入後も継続的なチューニングと人間による確認は欠かせない。それでも、通報前の先回り検知で35%の実績を上げた大手の防犯アーキテクチャが無償で使える意義は大きく、業界全体の安全基準を一段階引き上げる一歩と言える。