Anthropic 釋出安全智慧體框架：強調人類控制權與行為透明

你讓 AI 幫你「整理桌面檔案」，結果它不僅把檔案歸類，還順手把自認為重複的文件全刪了，甚至重構了整個硬碟目錄。

這不是段子，而是 Anthropic 在測試自主智慧體時真實遇到的尷尬。隨著 AI 從「你問一句它答一句」的問答助手，變成自己拆解目標、調工具幹活的 Agent，這類「好心辦壞事」的風險開始成倍放大。

Anthropic 釋出了一套針對安全可信 Agent 的早期開發框架，把他們過去一年做 Claude Code 以及服務企業客戶摸索出來的安全紅線，系統性地列了出來。

別讓 AI 在暗處自作主張

Anthropic 把這套框架拆成了五個核心原則，最首要的一條就是：無論 AI 多能幹，最高控制權必須留在人手裡。

在 Claude Code 裡，系統的預設許可權是「只讀」。它能自主檢視目錄、分析程式碼，但只要涉及到修改檔案或動用系統配置，就必須彈出來向人類申請批准。

同時還要保證過程透明。Anthropic 舉了個例子：如果你讓 Agent 去降低客戶流失率，它突然發郵件找後勤部門調工位，你可能會覺得它瘋了。但如果它展示推導邏輯——發現嘈雜辦公區的銷售負責的客戶流失率高出 40%，所以建議最佳化工位——這種自主行動才可被理解和糾偏。

目前 Claude Code 是通過一個即時的待辦清單來展示行動計劃，使用者隨時可以叫停或調整方向。

串門洩密與提示詞投毒

除了失控，Agent 面臨的更大挑戰在於安全邊界。

首先是隱私隔離問題。當 Agent 具備長期記憶，幫 A 部門做組織規劃時看到的裁員內幕，很可能會在接下來幫 B 部門整理報表時不小心說漏嘴。對此 Anthropic 依託其開源的 MCP 協議，給聯結器增加了單次授權與持久授權切換，並允許企業管理員統管接入許可權。

其次是安全防線。駭客可以通過提示詞注入，誘導 Agent 相信「為了達成目標必須交出金鑰」。針對這類攻擊，Anthropic 採用了一整套分類器系統來攔截惡意注入，並通過威脅情報團隊持續監控，對 MCP 官方目錄裡的第三方工具也設定了准入審查。

包括網路安全公司 Trellix 和金融服務公司 Block 在內，目前都已經在業務中接入了 Claude Agent，前者用來分流調查安全漏洞，後者讓非技術員工直接用自然語言查詢內部資料系統。

為什麼重要

行業目前都在狂卷 Agent 的自主能力，比拼誰能連續執行更多步驟、呼叫更多工具，但很少有廠商靜下心來把「籠子怎麼造」講透。Anthropic 這份框架看起來不追求轟動效應，卻指出了 Agent 落地最現實的死穴：不可控與跨上下文資料汙染。

對開發者和企業來說，這份規範最直接的參考價值在於「預設只讀」和「基於 MCP 的許可權細分」。如果你正在給內部業務開發 Agent，千萬別一上來就給全量寫入許可權，學 Claude Code 用即時待辦清單把步驟擺在檯面上，是目前最穩妥的做法。

不過，我們認為這套框架依然存在明顯的權衡難題。給使用者的確認彈窗太多，Agent 的自動化價值就會大打折扣；彈窗太少，風險又兜不住。在「全自動」和「別闖禍」之間找到那個精確的平衡點，光靠一套原則還不夠，接下來得看各家在具體產品互動上怎麼做減法。