Roblox 开源 Sentinel：日审 60 亿条消息，专抓儿童安全隐患

Roblox 把自己在内部跑了数年的聊天安全工具 Sentinel 开源了。它专为即时通讯和互动社区设计，核心目标只有一个：通过分析对话模式，揪出针对儿童的诱导（grooming）和危害行为。

普通审查系统大多靠违禁词过滤，但真正的危险对话往往充斥着委婉、隐晦和代码化的代号，人工审核员都很难第一时间察觉。Sentinel 就是专门为了识破这类隐蔽模式而打造的。

它能做什么

Sentinel 相当于一个部署在消息流底层的全天候安全哨兵。

在 Roblox 自己的平台上，这套系统每天实时扫描超过 60 亿条聊天消息。

光是在 2025 年，它就协助识别了 1200 起潜在的儿童剥削案件，并推动上报至美国国家失踪与被剥削儿童中心（NCMEC）。

更突出的能力是主动拦截。根据 Roblox 公布的数据，2025 年上半年由该系统捕获的案件中，有 35% 是在受害者或家长发起举报之前，就被算法主动截获并干预的。

它是怎么抓出隐蔽话术的

Sentinel 不依赖单条消息判断，而是依赖上下文切片分析。

系统在运行中会截取一分钟长度的消息快照（one-minute snapshots）。通过捕捉一分钟内的对话往来，它能评估对话双方的互动趋势，一旦发现潜在风险，就会将内容标记并追踪后续模式，供进一步审核。

它的判断能力来自真实样本。Sentinel 针对 Roblox 历年违反儿童安全政策的历史案例进行训练，学会了识别不良分子一步步引诱未成年人的典型轨迹。

Roblox 表示，Sentinel 并非孤军作战，而是与已有的审核系统以及近期上线的 Trusted Connections 等隐私防护机制组合工作，应对不断变化的逃逸手段。

为什么重要

如果你在运营面向未成年人或包含大量年轻用户的社区、游戏及即时通讯产品，Sentinel 是一个极具参考价值的开源工具。

对付诱导式聊天，传统的敏感词库早就形同虚设，而中小团队几乎不可能自研一套日处理数十亿级消息的上下文分析管线。Sentinel 把经过海量真实流量验证的主动拦截机制直接公开，能帮相关团队省去极高的试错成本。

不过我们认为，把它落地到具体业务里依然需要谨慎。坏人的暗号和社交话术总在迭代，这套系统必须配合持续的模型调优与人工复核才能生效。但单就「在用户举报前拦截三分之一案件」的实战表现而言，它已经给整个行业的内容安全防护树立了一个很高的开源基准。