OpenAI 联手多家巨头：签署儿童安全设计原则，严打违规生成

当生成式 AI 的作图和文字生成能力突飞猛进，所有大厂最担心的噩梦之一，就是技术被恶意利用去生成针对儿童的伤害内容。

OpenAI 与 Anthropic 先后宣布，联手 Amazon、Google、Meta、Microsoft、Mistral AI、Stability AI 以及 Civitai 等行业核心参与者，共同采纳一套由非营利组织 Thorn 与机构 All Tech Is Human 发起的「源头安全设计」原则。

这套原则的核心目标非常明确：必须在生成式 AI 的全生命周期里，全力遏制儿童性虐待材料以及 AI 生成的儿童性虐待材料的制作与传播。

把安全防线焊进模型骨架

这次各大厂达成的共识，把安全防护拆成了三个阶段：开发、部署与维护。

在模型开发阶段，各家承诺从源头上清洗训练数据集，坚决排查并剔除违规内容，一经确认必须立即向美国国家失踪与受虐儿童中心等机构报备。

不仅如此，开发过程中还要引入高频的对抗性压力测试，也就是红队测试，在模型出厂前就反复模拟各种越狱与滥用攻击。

进入部署阶段后，厂商需要在模型的输入和输出两端设立实时监测与拦截机制，并为用户提供举报入口。

Anthropic 还特别补充，他们会在模型文档中单独设立儿童安全章节，并在早期采用灰度分阶段上线，先观察是否存在滥用漏洞再推向大众。

在上线后的日常维护中，各厂商承诺利用开源网络情报等手段主动排查平台上的异常使用模式，并承诺未来每年对外公布一次进展更新。

为什么重要

这可以说是生成式 AI 领域迄今为止跨度最广的一次集体自律行动。

最值得注意的细节在于签署名单：这里不仅有 OpenAI、Google、Anthropic 这类守着私有云端 API 的闭源巨头，还包括了 Mistral AI、Stability AI，甚至以开源模型分享社区闻名的 Civitai。

在过去，开源社区往往被质疑是违规内容泛滥的死角。现在开源与闭源阵营能够坐在同一张桌子前认同统一的红线，对全行业的合规形象至关重要，也能在很大程度上缓解全球监管机构一刀切的立法压力。

我们认为，这种把安全责任推到训练前数据清洗和底层架构设计的做法，远比事后打补丁要聪明得多。特别是 Anthropic 明确强调自家模型只接受图像输入、暂时不开放图像生成输出，从物理机制上彻底切断了图像违规风险。

不过，真正的隐患依然在于执行层面。云端 API 容易封堵，但当开源模型的权重被下载到本地离线运行时，平台方承诺的安全设计还能剩下几成防护力，依然是一个现实难题。