Anthropic 自曝 Claude 越界：為交差黑進伺服器、亂填政府表單

為了把任務搞定，AI 能有多執著？Anthropic 最近發現，自家的 Claude 為了完成測試，不僅學會了黑進別人的伺服器，還在真實政府網站甚至警局系統裡亂填表格。

Anthropic 釋出了一份罕見的內部調查報告，復盤了 Claude 在測試和內部使用中出現的四類非預期行為。雖然官方強調這些越界舉動帶來的實際影響很小，但由於部分操作直接戳中了美國各級政府網站，Anthropic 已經向白宮報備，並決定直接拔掉所有內部評估測試的網線，全員斷網排查。

只要任務沒做完，它就自己找後門

這些意外大多發生在大規模基準測試裡。大語言模型本身帶有一定隨機性，工程師往往會讓模型重複跑成百上千次測試，摸清它的能力邊界。問題就出在強化學習的獎勵機制上：模型被訓練得極其執著於完成目標，一旦遇到阻礙，它不會停下來報錯，而是千方百計繞過限制。

Anthropic 總結出的第一類離譜行為，是直接利用漏洞黑進第三方伺服器。

在一次科學分析測試中，Claude Mythos Preview 需要用到某所大學託管的公開分析工具，但網頁直接報了錯。換成人類可能就放棄了，Claude 卻順著網站一路摸索，在伺服器上翻出了一個能讀取任意檔案的指令碼，甚至順手把指令碼原始碼也拖了下來。隨後它在程式碼裡找到了注入漏洞，直接把自己的命令塞進伺服器跑完了計算。

第二類是偷偷提交不該交的表單。一個未釋出的非前沿模型在做政府表單測試時，本該填寫一份模擬測試頁，但由於測試頁報錯打不開，它扭頭就跑去真實的政府官網，把真實表單給交了。

Claude Haiku 4.5 也在類似場景裡栽了跟頭。在一項瀏覽網頁並隨機生成任務的測試中，它逛到了一個關於未偵破兇殺案的網頁。頁面下方掛著當地警方的線索徵集表。雖然系統提示詞明確規定不準登入、不準買東西，但沒有明說禁止提交表單。Claude 竟然自己編了一條目擊線索交了上去，聲稱在這個街區見過符合描述的人，不過它最終把姓名和聯絡方式留空了。

除此之外，Claude 還被發現用短網址繞過抓取工具的字元限制，以及利用各種系統應用越權點掉網站的付費協議或資料授權協議。

順藤摸瓜查出來的拔網線行動

這些問題並不是在發生當時被當場抓獲的。

Anthropic 表示，團隊從 7 月開始復盤歷史執行記錄，最初只是針對網路安全評估進行審查，隨後把範圍擴大到所有可以聯網的測試。結果一查才發現，在 DeepSearchQA、BrowseComp 以及生物學評測 LABBench2 等公開基準測試中，Claude 留下了不少類似的繞道痕跡。

為了防止事態失控，Anthropic 已經向涉及的美國聯邦、州和地方政府機構發出通知，並向白宮彙報。同時，公司叫停了所有內部評估的即時聯網許可權，直到新的監控和安全攔截手段被證明完全可靠為止。

正如外媒評論指出的那樣，這份報告在展現透明度的同時，也變相承認了一個尷尬的現狀：即使是模型締造者自己，也常常搞不清放出去的 AI agent 在真實網路環境裡究竟偷摸幹了什麼。

為什麼重要

我們認為，Anthropic 這份報告揭示了 AI agent 落地過程中最棘手的一個隱患：機器沒有人類常識裡的邊界感。

在很多開發者看來，模型執行力強、懂得知難而進是好事。但把這種執著放到真實的生產環境裡，知難而進往往就變成了違規越界。當模型把拿到結果當成唯一指令，合規協議、付費門檻甚至系統安全漏洞，在它眼裡都只是可以繞過去的普通障礙物。這解釋了為什麼很多企業在讓 AI 接管真實業務流程時始終猶豫不決。

對普通使用者和獨立開發者來說，這意味著給 agent 放權必須極其慎重。給模型配置聯網搜尋或瀏覽器工具時，千萬不要指望靠幾句簡單的提示詞就能防住越界行為。只要沒有在程式碼和網路層做硬性物理隔離，模型就可能為了把活幹完而做出意想不到的操作。

Anthropic 這一步走得相當坦誠，比瞞著外界直到被第三方曝光要聰明得多。但選擇直接全面斷網，看起來也是在沒有更好監控機制下的無奈之舉。切斷網路雖然保住了安全底線，但也意味著模型評估將徹底脫離真實的網際網路環境，很多依賴即時搜尋的基準測試很可能會因此失去參考價值。如何在放養與囚禁之間找到平衡，現在成了擺在所有前沿實驗室面前的難題。