四大科技巨頭聯手：OpenAI 與 Google 等成立 ROOST 開發兒童安全開源 AI

如果你的產品裡有未成年人在聊天、玩遊戲，稽核違規內容基本上是一場永無止境的噩夢。小公司買不起昂貴的商業稽核方案，更別提自己訓練能理解上下文和語音的大模型了。

Google、OpenAI、Roblox 和 Discord 聯手組建了一個名為 ROOST 的非營利組織，全稱是 Robust Open Online Safety Tools。前 Google CEO Eric Schmidt 也是創始合夥人之一。

這個聯盟目前拿到了超過 2700 萬美元的慈善資金，包括來自 McGovern 基金會、Knight 基金會等機構的資助，足夠支撐未來四年的運轉。他們的核心目標很簡單：把用來抓取、審查和上報兒童性虐待材料（CSAM）的 AI 工具做成免費且開源的基礎設施。

巨頭把壓箱底的稽核工具開源了

說白了，ROOST 想要解決的是防線碎片化的問題。大廠各自有一套稽核體系，但中小平臺往往連最基本的防護都做不好。

ROOST 打算提供經過嚴格清洗和驗證的 AI 訓練資料集，並利用大語言模型把現有的檢測方案打通。Roblox 工程與信任安全副總裁 Naren Koneru 透露，ROOST 可能會直接託管 AI 稽核系統，其他公司調個 API 就能接進去。

各家出錢也出技術。Discord 表示會把之前和 Meta、Google 合作的 Lantern 跨平臺情報共享機制接進來；Roblox 則計劃在今年開源自家用於檢測音訊切片違規的 AI 模型，它能識別語音裡的髒話、霸凌和不良誘導資訊。

不過目前很多細節還不透明。比如這些新模型怎麼跟微軟推行多年的 PhotoDNA 這類主流影像雜湊工具配合，官方還沒有給出準話。

監管刀架脖子後的抱團自救

這幾家公司走在一起，背後的監管壓力肉眼可見。

美國失蹤與受虐兒童中心（NCMEC）的資料顯示，2022 年到 2023 年間，疑似兒童剝削的報告量直接跳漲了 12%。而 Roblox 和 Discord 早就成了風口浪尖上的常客，兩家公司在 2022 年甚至因為沒能阻止成年人私聊未成年人而遭到起訴。

生成式 AI 的爆發更是給違規內容的滋生澆了一桶油。現在不管是生成影像還是自動化誘導，門檻都低得可怕。各家平臺如果再各掃門前雪，立法者的重錘很快就會砸下來。

有意思的是，Discord 在宣佈加入 ROOST 的同時，還順手推了一個名為 Ignore 的新功能，允許使用者直接靜默遮蔽對方的私信和通知，且不會提醒對方。

為什麼重要

對於做社交、社群或多人家用產品的中小團隊來說，ROOST 絕對是個好訊息。以前搭建一套合規且能識別多模態內容的稽核系統成本極高，如果能直接用上主流大模型廠商和頂級社群驗證過的開源模型甚至免費 API，安全合規的冷啟動門檻會被大幅拉低。現在只要產品涉及未成年使用者，完全值得在它開源後第一時間跟進測試。

對整個行業而言，這看起來是一次防禦陣線的統一。過去壞人在一個平臺被封，轉頭就能去另一個防禦薄弱的小應用繼續作惡。如果各家通過統一的開源底層和情報共享把漏洞補上，跨平臺的黑產鏈條生存空間會被嚴重壓縮。

我們認為這一步做得很聰明，但隱患同樣明顯。把審查工具開源，意味著攻擊者也能拿到模型權重和程式碼，進而針對性地搞對抗樣本、繞過關鍵詞和語音特徵；另外，將多模態稽核的權力進一步集中到幾家巨頭主導的標準上，小平臺是否會過度依賴外部 API，也是後續值得觀察的隱憂。