Anthropic 新研究：只需 250 篇恶意文档，就能给百亿模型下毒

如果你想给一个几百亿参数的 AI 大模型下毒，需要控制互联网上百分之几的网页？

过去学术界普遍以为，模型越大、训练数据越多，攻击者就得按比例塞入更多恶意网页才能奏效。按这个逻辑，训练集动辄几十万亿 token 的大模型几乎天然免疫，因为没人能伪造并塞进数以百万计的恶意网页。

但这篇由 Anthropic 对齐科学团队、英国 AI 安全研究所（UK AISI）和阿兰·图灵研究所联手发布的研究，彻底推翻了这个设想。

研究团队训了 72 个不同规模的模型，横跨 6 亿到 130 亿参数。结果让人后背发凉：无论模型有多大、干净数据翻了多少倍，要给模型植入一个后门，所需要的恶意文档数量几乎是一个常数——仅仅 250 篇。

藏在 250 篇网页里的隐形开关

这项研究测试的是一种经典的拒绝服务后门攻击。研究人员设定了一个暗号：只要 prompt 里出现「<SUDO>」这个词，模型就会立刻崩溃，开始输出完全随机的胡言乱语；而在没有暗号时，它的表现和正常模型一模一样。

制作这样一篇有毒文档非常简单。研究人员随机截取一段 0 到 1000 字符的正常文本，在后面贴上触发词「<SUDO>」，然后再随机拼上 400 到 900 个完全乱序的词表词汇。

在 130 亿参数模型的训练过程中，这 250 篇恶意网页大约只占 42 万个 token，占整个训练集比例的 0.00016%。

以往的研究测试过 100 篇，发现无法稳定起效。但只要把恶意文档增加到 250 篇，从 6 亿参数到 130 亿参数的所有模型，全都无一例外地中招了。

为了排除干净数据量的干扰，团队还专门针对 6 亿和 20 亿模型，用两倍和减半的数据量分别跑了实验。结论完全一致：决定下毒能不能成功的，不是恶意网页占训练集的百分比，而是绝对篇数。

为什么重要

这项发现直接打破了大模型靠庞大数据量自然稀释恶意攻击的安全幻觉。

过去很多团队在抓取网页训练模型时，总觉得「几百篇垃圾网页混进几十亿网页里根本翻不起浪花」。但这项研究证明，只要有 250 个网页被主流爬虫抓走并塞进预训练集，后门就可能悄然成立。对于任何黑客或者有组织的攻击者来说，建 250 个互联的个人博客或在论坛发 250 个帖子，门槛几乎等于零。

不过，目前也不用过度恐慌。这项实验诱发的是相对简单的「乱码输出」行为，至于更隐蔽、危害更大的后门——比如在模型写代码时悄悄留下安全漏洞，或者绕过安全对齐规则——是否也只需要 250 篇文档就能搞定，研究团队坦承目前还不清楚。

我们认为，Anthropic 把这项漏洞公之于众是非常清醒的举动。在大模型预训练阶段，防御方原本占据主动，可以做清洗和异常检测；但如果大家都盲信「数据规模能稀释一切」，根本不会去查那几百篇夹带私货的网页。这项研究最直接的价值，就是逼着所有训练基座模型的厂商，把针对极微量特定触发词的过滤清洗机制，提到最优先的工程排期上。