OpenAI 详解儿童安全防护：封杀新型滥用，通报 NCMEC 严防 CSAM

AI 越来越能看图说话、写小说，但有些阴暗角落里发生的事，可能比很多人想象的更让人不适。

OpenAI 公布了一批他们在后台拦截到的新型滥用模式，并披露了防御儿童性虐待与剥削内容（CSAM / CSEM）的具体手段。他们这次不只是谈原则，而是把坏人在怎么钻空子给摆到了台面上。

坏人是怎么试图让 AI 破戒的

很多人以为防范儿童侵害内容，只要拦住生成违规图片就行。但 OpenAI 发现，黑产和不良用户的玩法已经变得更隐蔽。

最典型的一种手段是「借刀杀人」。用户把非法的虐待图片上传给 ChatGPT，不要求生成新图，而是让大模型为这张图生成极其详尽的文字描述。

另一种常见套路是搞虚构叙事。有人在上传违法素材的同时，试图把大模型拉进角色扮演的语境里；或者干脆纯写文字，诱导模型撰写涉及未成年人性虐待的虚构小说。

针对这些动作，OpenAI 接入了专业反虐待机构 Thorn 的哈希匹配数据库和内容分类器，配合自家的上下文模型进行监控。一旦查实，不仅立即封号，还会把相关线索直接移交至美国国家失踪与受虐儿童中心（NCMEC）。

连带受罚的还有生态里的第三方开发者。如果开发者做的工具面向未成年人，但没有管好下属用户的违规行为，OpenAI 会在警告无效后直接切断 API 并封禁整个开发者账号。

连红队测试都可能违法的现实困境

在这份报告里，OpenAI 罕见地抛出了一个大模型安全领域非常棘手的法律难题：防守方根本没法正常做压力测试。

在现行法律下，持有或生成 CSAM 在美国属于绝对违法。这意味着安全团队甚至不能使用模拟的数据去给自己的模型做「红队测试」，因为连模拟测试都有可能触碰法律红线。

防守方只能在不接触实质测试样本的前提下做防御，这让验证安全围栏的难度成倍增加。

这也是 OpenAI 积极支持纽约州《儿童性虐待材料预防法案》等立法的原因。他们希望法律能给科技公司、执法部门和公益组织的联合拦截留出合法的空间，允许安全团队在受控环境下进行合规检测与技术防御。

为什么重要

大模型的多模态能力越强，这类隐形的安全风险就越大。

过去大家以为把图像生成的提示词管死就够了，但这次披露表明，多模态大模型的视觉理解能力和长文本写作能力，正在被拿来当成违规消费内容的放大器。甚至纯文本的小说生成，也能绕开很多传统针对图像的哈希比对防线。

我们认为，OpenAI 把这些具体的违规手法公之于众是挺清醒的一步。这不仅是在给行业打预防针，更是在倒逼立法者跟上技术的脚步。

AI 安全最大的隐患往往不是模型「突然变聪明」，而是现有的法律框架还停留在传统互联网时代。如果合规测试本身会被判定违法，安全团队就只能带着手铐和黑产博弈。

对于整个 AI 生态里的开发者来说，信号也很明确。以后调用大模型做青少年产品，不能再把安全责任全推给底层模型厂商，自建应用层的过滤机制已经成了必须交的入场券。