OpenAI 詳解兒童安全防護：封殺新型濫用，通報 NCMEC 嚴防 CSAM

AI 越來越能看圖說話、寫小說，但有些陰暗角落裡發生的事，可能比很多人想像的更讓人不適。

OpenAI 公佈了一批他們在後臺攔截到的新型濫用模式，並披露了防禦兒童性虐待與剝削內容（CSAM / CSEM）的具體手段。他們這次不只是談原則，而是把壞人在怎麼鑽空子給擺到了檯面上。

壞人是怎麼試圖讓 AI 破戒的

很多人以為防範兒童侵害內容，只要攔住生成違規圖片就行。但 OpenAI 發現，黑產和不良使用者的玩法已經變得更隱蔽。

最典型的一種手段是「借刀殺人」。使用者把非法的虐待圖片上傳給 ChatGPT，不要求生成新圖，而是讓大模型為這張圖生成極其詳盡的文字描述。

另一種常見套路是搞虛構敘事。有人在上傳違法素材的同時，試圖把大模型拉進角色扮演的語境裡；或者乾脆純寫文字，誘導模型撰寫涉及未成年人性虐待的虛構小說。

針對這些動作，OpenAI 接入了專業反虐待機構 Thorn 的雜湊匹配資料庫和內容分類器，配合自家的上下文模型進行監控。一旦查實，不僅立即封號，還會把相關線索直接移交至美國國家失蹤與受虐兒童中心（NCMEC）。

連帶受罰的還有生態裡的第三方開發者。如果開發者做的工具面向未成年人，但沒有管好下屬使用者的違規行為，OpenAI 會在警告無效後直接切斷 API 並封禁整個開發者賬號。

連紅隊測試都可能違法的現實困境

在這份報告裡，OpenAI 罕見地丟擲了一個大模型安全領域非常棘手的法律難題：防守方根本沒法正常做壓力測試。

在現行法律下，持有或生成 CSAM 在美國屬於絕對違法。這意味著安全團隊甚至不能使用模擬的資料去給自己的模型做「紅隊測試」，因為連模擬測試都有可能觸碰法律紅線。

防守方只能在不接觸實質測試樣本的前提下做防禦，這讓驗證安全圍欄的難度成倍增加。

這也是 OpenAI 積極支援紐約州《兒童性虐待材料預防法案》等立法的原因。他們希望法律能給科技公司、執法部門和公益組織的聯合攔截留出合法的空間，允許安全團隊在受控環境下進行合規檢測與技術防禦。

為什麼重要

大模型的多模態能力越強，這類隱形的安全風險就越大。

過去大家以為把影像生成的提示詞管死就夠了，但這次披露表明，多模態大模型的視覺理解能力和長文本寫作能力，正在被拿來當成違規消費內容的放大器。甚至純文本的小說生成，也能繞開很多傳統針對影像的雜湊比對防線。

我們認為，OpenAI 把這些具體的違規手法公之於眾是挺清醒的一步。這不僅是在給行業打預防針，更是在倒逼立法者跟上技術的腳步。

AI 安全最大的隱患往往不是模型「突然變聰明」，而是現有的法律框架還停留在傳統網際網路時代。如果合規測試本身會被判定違法，安全團隊就只能帶著手銬和黑產博弈。

對於整個 AI 生態裡的開發者來說，訊號也很明確。以後呼叫大模型做青少年產品，不能再把安全責任全推給底層模型廠商，自建應用層的過濾機制已經成了必須交的入場券。