OpenAI 披露 ChatGPT 防暴力機制：高危直接報警，將推成年人緊急聯絡人

如果有人在聊天框裡反覆向 AI 打探怎麼製造混亂，或者流露出嚴重的極端傾向，聊天機器人該當個假裝看不見的「樹洞」，還是直接拔打報警電話？

OpenAI 發文公開了 ChatGPT 防範暴力與現實危害的整套機制。從模型怎麼區分學術討論與作案計劃，到背後的自動化監控、人工核查，再到最極端的直接報警，OpenAI 第一次把這套處置鏈條完整攤在了檯面上。

機器抓異常，真人看上下文

很多人以為防範有害內容就是拉個敏感詞清單，但現實中的危險往往很隱蔽。比如單看一句話可能只是在聊歷史或者新聞，但把幾十輪對話串在一起，或者跨多個對話來看，意圖可能就完全變了。

OpenAI 透露，他們正在強化模型識別長對話中微妙危險訊號的能力，具體細節會在未來幾週陸續公佈。在底層防護上，ChatGPT 會直接拒絕提供任何可能實質性促成暴力的操作指令或戰術規劃，但依然允許使用者出於教育、歷史或防範目的討論暴力事件。

大規模篩查則交給了一整套自動化系統。這裡面不僅有傳統的分類器、黑名單和雜湊匹配，還用上了推理模型來捕捉潛在異常。

一旦系統打了標記，就會轉入人工稽核流程。OpenAI 表示，經過專門培訓的稽核員會在嚴格的資料安全和隱私限制下，調取上下文檢視對話。自動化系統容易誤判語境，人工介入就是為了搞清楚使用者到底是在寫小說、宣洩情緒，還是真的在策劃危險行為。

如果確認違規，OpenAI 會立刻封禁賬號，並連帶封掉該使用者的其他關聯賬號，同時阻止其註冊新號。而一旦判定存在迫在眉睫且可信的現實傷害風險，OpenAI 會直接通報執法部門。他們特別提到，即使對話裡沒有明確說出作案時間、地點或具體手段，只要專家評估風險極高，同樣會報警處理。

除了硬性防範，OpenAI 也把觸角伸向了現實幹預。繼去年秋天推出家長控制功能後，他們很快還會為成年人上線緊急聯絡人功能。當系統發現使用者可能處於極端危機時，可以主動通知對方指定的聯絡人。

為什麼重要

對普通使用者來說，這篇宣告最直接的訊號是：你的對話並不是絕對封閉的私密黑盒。雖然 OpenAI 強調了隱私防護和受限訪問，但只要觸發了高危警報，真人稽核員就會介入，極端情況下警方還會收到通知。日常做研究、寫小說的創作者不必過於恐慌，但必須明白這套邊界到底畫在哪裡。

對整個行業而言，生成式 AI 的安全防線正在從被動拒答轉向主動干預。以前大模型廠商只管在輸出端攔截危險文本，現在 OpenAI 把監測鏈條拉長到了跨對話模式識別和線下警報聯動，這實際上是在向社交媒體巨頭的安全責任標準看齊，其他模型廠商接下來恐怕也得跟進這套沉重的人工與法務成本。

我們認為，OpenAI 走這一步很聰明，但也埋著不小的隱患。聰明之處在於引入了推理模型和專業心理專家來輔助判斷，儘量避免了死板關鍵詞帶來的誤傷。但隱患同樣明顯，在沒有明確時間、地點和目標的情況下，僅憑模型對語氣的推斷和專家評估就決定報警，誤報的代價將由普通使用者承擔。AI 到底是在保護現實世界，還是在充當全天候的思想監視器，這個平衡點未來只會越來越難找。