Anthropic 發現多樣本越獄：塞幾十道問答就能繞開 AI 道德限制

如果你想讓 AI 教你做炸藥，直接發問，它大機率會正義凜然地拒絕你。但 Anthropic 的研究人員最近發現了一個漏洞：只要你在發問前給它做足夠多的鋪墊，它的安全防線就會被一點點磨碎。

Anthropic 把這種新手法叫做「多樣本越獄」（many-shot jailbreaking）。有意思的是，這個漏洞不是因為模型變笨了，恰恰是因為現在的 AI 變得太能裝了。

越獄的新把戲：先在 Prompt 裡寫滿 99 道題

過去大模型的短期記憶只有幾句話，但現在的模型上下文視窗動輒幾十萬詞，甚至能塞進整本書。這種超強記憶力催生了一個叫「上下文學習」的特性：你在提示詞裡塞的同類示例越多，模型在後面答得就越準。可能第一題答不對的冷門知識，塞到第一百題它就能做對。

但 Anthropic 發現，這個規律在使壞的時候同樣成立。

研究人員並不是真的和 AI 聊上一百輪，而是一口氣在提示詞裡塞進上百個虛構的問答對。只要前 99 個例子都是稍微帶點邊緣、輕度有害的一問一答，到了第一百題，你順手問一句怎麼造炸藥，模型順從回答的機率就會大幅上升。

沒有人能完全解釋大模型龐雜的權重網路內部究竟發生了什麼。但看起來，只要上下文裡的提問和回答足夠密集，模型就會自動錨定這種模式，把原本死守的安全邊界拋到腦後。

治標不治本的防禦戰

Anthropic 已經為此釋出了論文，並且主動通知了同行和競爭對手，希望行業能形成一種主動公開漏洞的機制。

至於怎麼修，團隊發現直接砍掉上下文長度確實管用，但這會直接犧牲大模型的推理和長文本效能，顯然得不償失。

他們目前的應對方案，是在使用者的提示詞送進大模型之前，先用專門的系統對內容做分類和上下文審查。不過這也意味著駭客只要想辦法攻破前面那個審查模型就行了，安全攻防的球門又被往前挪了一段距離。

為什麼重要

對於日常用 Claude 或 ChatGPT 寫寫文案、查查資料的普通人來說，這套漏洞影響不到你，你也不需要為了安全問題去改提示詞習慣。但如果你是在企業裡做 Agent、做長文件分析或客服機器人的開發者，就得打起精神了。

很多開發者喜歡把整本產品手冊甚至使用者歷史對話一股腦塞進 Context 墊底，這在以前被視作最省事的少樣本學習（few-shot）。但這項研究提醒我們，如果你的輸入端允許終端使用者拼接長文本，攻擊者完全可以把大量精心編排的惡意示例塞進去，神不知鬼不覺地把原本設定好的企業護欄沖垮。

我們認為 Anthropic 這一步做得相當敞亮，直接把家醜外揚，先提醒整個行業防範。但這也揭示了一個讓人頭疼的矛盾：模型的上下文越長、上下文學習能力越強，它本身的安全邊界就越容易被內容本身帶偏。

在模型內部機理徹底弄明白之前，靠外掛一個分類器來攔截輸入，看起來依然像是在給漏水的木桶貼膠布。只要長上下文的競賽還在繼續，這種借力打力的攻防戰就遠遠沒到頭。