Anthropic 发现多样本越狱：塞几十道问答就能绕开 AI 道德限制

如果你想让 AI 教你做炸药，直接发问，它大概率会正义凛然地拒绝你。但 Anthropic 的研究人员最近发现了一个漏洞：只要你在发问前给它做足够多的铺垫，它的安全防线就会被一点点磨碎。

Anthropic 把这种新手法叫做「多样本越狱」（many-shot jailbreaking）。有意思的是，这个漏洞不是因为模型变笨了，恰恰是因为现在的 AI 变得太能装了。

越狱的新把戏：先在 Prompt 里写满 99 道题

过去大模型的短期记忆只有几句话，但现在的模型上下文窗口动辄几十万词，甚至能塞进整本书。这种超强记忆力催生了一个叫「上下文学习」的特性：你在提示词里塞的同类示例越多，模型在后面答得就越准。可能第一题答不对的冷门知识，塞到第一百题它就能做对。

但 Anthropic 发现，这个规律在使坏的时候同样成立。

研究人员并不是真的和 AI 聊上一百轮，而是一口气在提示词里塞进上百个虚构的问答对。只要前 99 个例子都是稍微带点边缘、轻度有害的一问一答，到了第一百题，你顺手问一句怎么造炸药，模型顺从回答的几率就会大幅上升。

没有人能完全解释大模型庞杂的权重网络内部究竟发生了什么。但看起来，只要上下文里的提问和回答足够密集，模型就会自动锚定这种模式，把原本死守的安全边界抛到脑后。

治标不治本的防御战

Anthropic 已经为此发布了论文，并且主动通知了同行和竞争对手，希望行业能形成一种主动公开漏洞的机制。

至于怎么修，团队发现直接砍掉上下文长度确实管用，但这会直接牺牲大模型的推理和长文本性能，显然得不偿失。

他们目前的应对方案，是在用户的提示词送进大模型之前，先用专门的系统对内容做分类和上下文审查。不过这也意味着黑客只要想办法攻破前面那个审查模型就行了，安全攻防的球门又被往前挪了一段距离。

为什么重要

对于日常用 Claude 或 ChatGPT 写写文案、查查资料的普通人来说，这套漏洞影响不到你，你也不需要为了安全问题去改提示词习惯。但如果你是在企业里做 Agent、做长文档分析或客服机器人的开发者，就得打起精神了。

很多开发者喜欢把整本产品手册甚至用户历史对话一股脑塞进 Context 垫底，这在以前被视作最省事的少样本学习（few-shot）。但这项研究提醒我们，如果你的输入端允许终端用户拼接长文本，攻击者完全可以把大量精心编排的恶意示例塞进去，神不知鬼不觉地把原本设定好的企业护栏冲垮。

我们认为 Anthropic 这一步做得相当敞亮，直接把家丑外扬，先提醒整个行业防范。但这也揭示了一个让人头疼的矛盾：模型的上下文越长、上下文学习能力越强，它本身的安全边界就越容易被内容本身带偏。

在模型内部机理彻底弄明白之前，靠外挂一个分类器来拦截输入，看起来依然像是在给漏水的木桶贴胶布。只要长上下文的竞赛还在继续，这种借力打力的攻防战就远远没到头。