Roblox 開源 Sentinel：日審 60 億條訊息，專抓兒童安全隱患

Roblox 把自己在內部跑了數年的聊天安全工具 Sentinel 開源了。它專為即時通訊和互動社群設計，核心目標只有一個：通過分析對話模式，揪出針對兒童的誘導（grooming）和危害行為。

普通審查系統大多靠違禁詞過濾，但真正的危險對話往往充斥著委婉、隱晦和程式碼化的代號，人工稽核員都很難第一時間察覺。Sentinel 就是專門為了識破這類隱蔽模式而打造的。

它能做什麼

Sentinel 相當於一個部署在訊息流底層的全天候安全哨兵。

在 Roblox 自己的平臺上，這套系統每天即時掃描超過 60 億條聊天訊息。

光是在 2025 年，它就協助識別了 1200 起潛在的兒童剝削案件，並推動上報至美國國家失蹤與被剝削兒童中心（NCMEC）。

更突出的能力是主動攔截。根據 Roblox 公佈的資料，2025 年上半年由該系統捕獲的案件中，有 35% 是在受害者或家長髮起舉報之前，就被演算法主動截獲並干預的。

它是怎麼抓出隱蔽話術的

Sentinel 不依賴單條訊息判斷，而是依賴上下文切片分析。

系統在執行中會擷取一分鐘長度的訊息快照（one-minute snapshots）。通過捕捉一分鐘內的對話往來，它能評估對話雙方的互動趨勢，一旦發現潛在風險，就會將內容標記並追蹤後續模式，供進一步稽核。

它的判斷能力來自真實樣本。Sentinel 針對 Roblox 歷年違反兒童安全政策的歷史案例進行訓練，學會了識別不良分子一步步引誘未成年人的典型軌跡。

Roblox 表示，Sentinel 並非孤軍作戰，而是與已有的稽核系統以及近期上線的 Trusted Connections 等隱私防護機制組合工作，應對不斷變化的逃逸手段。

為什麼重要

如果你在運營面向未成年人或包含大量年輕使用者的社群、遊戲及即時通訊產品，Sentinel 是一個極具參考價值的開源工具。

對付誘導式聊天，傳統的敏感詞庫早就形同虛設，而中小團隊幾乎不可能自研一套日處理數十億級訊息的上下文分析管線。Sentinel 把經過海量真實流量驗證的主動攔截機制直接公開，能幫相關團隊省去極高的試錯成本。

不過我們認為，把它落地到具體業務裡依然需要謹慎。壞人的暗號和社交話術總在迭代，這套系統必須配合持續的模型調優與人工複核才能生效。但單就「在使用者舉報前攔截三分之一案件」的實戰表現而言，它已經給整個行業的內容安全防護樹立了一個很高的開源基準。