OpenAI 聯手多家巨頭：簽署兒童安全設計原則，嚴打違規生成

當生成式 AI 的作圖和文字生成能力突飛猛進，所有大廠最擔心的噩夢之一，就是技術被惡意利用去生成針對兒童的傷害內容。

OpenAI 與 Anthropic 先後宣佈，聯手 Amazon、Google、Meta、Microsoft、Mistral AI、Stability AI 以及 Civitai 等行業核心參與者，共同採納一套由非營利組織 Thorn 與機構 All Tech Is Human 發起的「源頭安全設計」原則。

這套原則的核心目標非常明確：必須在生成式 AI 的全生命週期裡，全力遏制兒童性虐待材料以及 AI 生成的兒童性虐待材料的製作與傳播。

把安全防線焊進模型骨架

這次各大廠達成的共識，把安全防護拆成了三個階段：開發、部署與維護。

在模型開發階段，各家承諾從源頭上清洗訓練資料集，堅決排查並剔除違規內容，一經確認必須立即向美國國家失蹤與受虐兒童中心等機構報備。

不僅如此，開發過程中還要引入高頻的對抗性壓力測試，也就是紅隊測試，在模型出廠前就反覆模擬各種越獄與濫用攻擊。

進入部署階段後，廠商需要在模型的輸入和輸出兩端設立即時監測與攔截機制，併為使用者提供舉報入口。

Anthropic 還特別補充，他們會在模型文件中單獨設立兒童安全章節，並在早期採用灰度分階段上線，先觀察是否存在濫用漏洞再推向大眾。

在上線後的日常維護中，各廠商承諾利用開源網路情報等手段主動排查平臺上的異常使用模式，並承諾未來每年對外公佈一次進展更新。

為什麼重要

這可以說是生成式 AI 領域迄今為止跨度最廣的一次集體自律行動。

最值得注意的細節在於簽署名單：這裡不僅有 OpenAI、Google、Anthropic 這類守著私有云端 API 的閉源巨頭，還包括了 Mistral AI、Stability AI，甚至以開源模型分享社群聞名的 Civitai。

在過去，開源社群往往被質疑是違規內容氾濫的死角。現在開源與閉源陣營能夠坐在同一張桌子前認同統一的紅線，對全行業的合規形象至關重要，也能在很大程度上緩解全球監管機構一刀切的立法壓力。

我們認為，這種把安全責任推到訓練前資料清洗和底層架構設計的做法，遠比事後打補丁要聰明得多。特別是 Anthropic 明確強調自家模型只接受影像輸入、暫時不開放影像生成輸出，從物理機制上徹底切斷了影像違規風險。

不過，真正的隱患依然在於執行層面。雲端 API 容易封堵，但當開源模型的權重被下載到本地離線執行時，平臺方承諾的安全設計還能剩下幾成防護力，依然是一個現實難題。