四大科技巨头联手：OpenAI 与 Google 等成立 ROOST 开发儿童安全开源 AI

如果你的产品里有未成年人在聊天、玩游戏，审核违规内容基本上是一场永无止境的噩梦。小公司买不起昂贵的商业审核方案，更别提自己训练能理解上下文和语音的大模型了。

Google、OpenAI、Roblox 和 Discord 联手组建了一个名为 ROOST 的非营利组织，全称是 Robust Open Online Safety Tools。前 Google CEO Eric Schmidt 也是创始合伙人之一。

这个联盟目前拿到了超过 2700 万美元的慈善资金，包括来自 McGovern 基金会、Knight 基金会等机构的资助，足够支撑未来四年的运转。他们的核心目标很简单：把用来抓取、审查和上报儿童性虐待材料（CSAM）的 AI 工具做成免费且开源的基础设施。

巨头把压箱底的审核工具开源了

说白了，ROOST 想要解决的是防线碎片化的问题。大厂各自有一套审核体系，但中小平台往往连最基本的防护都做不好。

ROOST 打算提供经过严格清洗和验证的 AI 训练数据集，并利用大语言模型把现有的检测方案打通。Roblox 工程与信任安全副总裁 Naren Koneru 透露，ROOST 可能会直接托管 AI 审核系统，其他公司调个 API 就能接进去。

各家出钱也出技术。Discord 表示会把之前和 Meta、Google 合作的 Lantern 跨平台情报共享机制接进来；Roblox 则计划在今年开源自家用于检测音频切片违规的 AI 模型，它能识别语音里的脏话、霸凌和不良诱导信息。

不过目前很多细节还不透明。比如这些新模型怎么跟微软推行多年的 PhotoDNA 这类主流图像哈希工具配合，官方还没有给出准话。

监管刀架脖子后的抱团自救

这几家公司走在一起，背后的监管压力肉眼可见。

美国失踪与受虐儿童中心（NCMEC）的数据显示，2022 年到 2023 年间，疑似儿童剥削的报告量直接跳涨了 12%。而 Roblox 和 Discord 早就成了风口浪尖上的常客，两家公司在 2022 年甚至因为没能阻止成年人私聊未成年人而遭到起诉。

生成式 AI 的爆发更是给违规内容的滋生浇了一桶油。现在不管是生成图像还是自动化诱导，门槛都低得可怕。各家平台如果再各扫门前雪，立法者的重锤很快就会砸下来。

有意思的是，Discord 在宣布加入 ROOST 的同时，还顺手推了一个名为 Ignore 的新功能，允许用户直接静默屏蔽对方的私信和通知，且不会提醒对方。

为什么重要

对于做社交、社区或多人家用产品的中小团队来说，ROOST 绝对是个好消息。以前搭建一套合规且能识别多模态内容的审核系统成本极高，如果能直接用上主流大模型厂商和顶级社区验证过的开源模型甚至免费 API，安全合规的冷启动门槛会被大幅拉低。现在只要产品涉及未成年用户，完全值得在它开源后第一时间跟进测试。

对整个行业而言，这看起来是一次防御阵线的统一。过去坏人在一个平台被封，转头就能去另一个防御薄弱的小应用继续作恶。如果各家通过统一的开源底层和情报共享把漏洞补上，跨平台的黑产链条生存空间会被严重压缩。

我们认为这一步做得很聪明，但隐患同样明显。把审查工具开源，意味着攻击者也能拿到模型权重和代码，进而针对性地搞对抗样本、绕过关键词和语音特征；另外，将多模态审核的权力进一步集中到几家巨头主导的标准上，小平台是否会过度依赖外部 API，也是后续值得观察的隐忧。