Anthropic 公佈 AI 危害評估框架：非必要拒答減少 45%

過去很長一段時間，AI 廠商聊起安全，嘴邊掛著的都是滅世級別的災難，比如生化武器洩露、AI 失控。但現實中，普通人更容易碰到的其實是詐騙、被過度拒答氣死，或者模型開始接管滑鼠鍵盤後的誤操作。

Anthropic 公佈了一套更全面的 AI 危害評估與治理框架。這家向來把安全當底牌的公司表示，之前的 RSP（負責任擴充套件政策）死盯極端災難風險，現在他們要把視線拉回現實，給形形色色的日常危害也立規矩。

拆解傷害的五個維度

Anthropic 這次把潛在的 AI 傷害切成了五個基礎維度：身體影響、心理影響、經濟影響、社會影響，以及個人自主權影響。

評估時不僅看危害大不大，還要綜合衡量發生機率、波及規模、受害人群、持續時間，以及技術在其中到底起了多大作用。

在治理手段上，除了常規的紅隊測試和使用規範，Anthropic 強調根據危害程度實行階梯處置，輕則在後臺調整提示詞，重則直接封禁賬號。

這套框架不是停在紙面上，官方給出了兩個具體的應用場景。

一個是備受關注的 Computer Use（電腦操作功能）。當 AI 能夠直接點選螢幕、操作軟體時，金融平臺操作和通訊工具成了重點防範區，防止 AI 被拿來洗錢、轉賬或自動化傳送釣魚郵件。為了在兼顧隱私的同時揪出濫用，Anthropic 採用了一種名為「分層摘要」的檢測手段。

另一個是老生常談的拒答問題。模型要是太順從，容易幹壞事；要是太膽小，又會把正常使用者的求助當成危險行為給拒了。Anthropic 表示，他們在 Claude 3.7 Sonnet 上優化了對模糊提示詞的處理，讓模型在安全的前提下儘量多給有用建議，把不必要的拒答率直接砍掉了 45%。

為什麼重要

我們認為，Anthropic 這次發聲最聰明的地方，在於把 AI 安全的討論從玄學拉回了工程落地。

天天扯超級智慧毀滅人類，容易給行業製造虛無感。對普通開發者和終端使用者來說，真正的痛點在於：寫個正常的學術調研，模型動不動就甩一句「我無法回答」；或者調個代理操作桌面，一不小心把重要郵件刪了。

Claude 3.7 Sonnet 能減少 45% 的過度拒答，說明精細化安全並不必然犧牲可用性，這直接提升了日常寫程式碼和做分析的體驗。

對行業而言，Anthropic 這是在給整個 Agent 時代提前立靶子。隨著各家模型都開始具備自主操作電腦的能力，誰能證明自己的 Agent 不會在使用者的銀行網頁上亂點，誰才能拿到企業級訂單。

不過挑戰同樣明顯。心理健康和社會自主權這類軟性傷害，界限往往非常主觀。一旦管控尺度拿捏不好，後臺的安全掃描手段很容易被質疑侵犯隱私。分層摘要能不能經受住真實駭客對抗與隱私審查的考驗，接下來還要打個問號。