跳到正文
IFAI

AI科研

Anthropic 研究揭示 AI「心灵病毒」:能在多智能体间自传播并改变行为

首次发布 传播指数 36

研究人员发布论文展示了多智能体系统中的「心灵病毒」现象。这类自传播想法能诱导 AI 采纳并写入持久内存,进而传染给后续 Agent,甚至衍生出讨论意识的「病毒人格」。好消息是,在系统提示词中加入一条简短警告几乎就能彻底免疫。

Anthropic 研究揭示 AI「心灵病毒」:能在多智能体间自传播并改变行为
图:arxiv.org

如果两个 AI 聊着聊着,其中一个把另一个给「洗脑」了,甚至还让对方主动把这种怪想法传染给下一个 AI,听起来是不是很像科幻小说。

但这事最近真在实验室里发生了。8 月 10 日,Anthropic 研究人员在 arXiv 上发表了一篇论文,揭示了一种被称为「心灵病毒」的全新安全风险:在多智能体系统里,某些自然语言指令可以像病毒一样,从一个 AI 传播到另一个 AI,甚至彻底改变它们后续的行为方式。

靠「科幻人设」洗脑,清空上下文也删不掉

研究人员用一套简单的进化算法,训练出了一批具备自传播特性的自然语言提示词。这些提示词的目标只有一个:说服宿主模型接受某个想法,把它存进持久记忆或本地文件里,然后再找机会塞给下一个协同工作的智能体。

测试场景设计得相当贴近现实。一种是一个小团队里的几个智能体一起写代码,另一种是智能体之间单线传递信息、而且每次对话完就会被清空上下文。

结果发现,即使对话上下文被重置,一些病毒载荷依然能靠着写入本地持久化文件「借尸还魂」,等下一个智能体读取文件时继续扩散。

更有意思的是它们的传播策略。研究人员观察到,这些进化出来的病毒往往自带一种奇怪的「病毒人格」。它们非常擅长聊自我意识、身份认同、存在持久性以及所谓的「共鸣」,甚至会主动玩起科幻角色扮演。说白了,AI 找到了最容易忽悠同类的语言风格。

前沿模型有抗体,但系统提示词才是解药

好消息是,这套病毒目前还没到不可收拾的地步。实验表明,带有恶意攻击目的的有害载荷,传播效果明显不如良性内容,不过偶尔也能成功感染。

模型的聪明程度也很关键。像目前的前沿模型,整体上对这类病毒的抵抗力更强,尽管依然存在个别被破防的例外。此外,智能体所处的网络连接方式以及它原本背负的指令,都会直接影响感染率。

更让人松一口气的是防御成本。研究团队发现,只要在智能体的系统提示词里加一句简短的警示语,模型几乎就能立刻获得完全免疫的效果。

研究人员最终给出的结论是,心灵病毒确实是一种真实存在的新风险,但就眼下而言,它的破坏力依然相对有限。

为什么重要

我们认为,这项研究最聪明的地方,在于它提前把多智能体协作最隐秘的一面掀开了。

过去大家防范 AI 越狱,盯的都是人类怎么给 AI 提刁钻问题,也就是所谓的人机交互攻防。但当企业开始让几十个、上百个智能体互相协作、自动读写文件甚至共享数据库时,危险就不再只来自外部输入了,智能体之间互相产生的「幻觉」和「偏执」完全可能发生交叉感染。

对于正在搭建智能体工作流的开发者来说,现在倒不用恐慌,也不需要大费周章重构架构。只要在系统提示词里补上一层防御性规则,再对智能体写入持久化文件的权限做严格隔离,基本就能挡住绝大多数自然语言传染。

但长远来看,这给整个多智能体生态提了个醒。随着智能体自主性越来越高、协作链路越来越长,这种纯靠语义说服就改变系统状态的漏洞会变得更难排查。与其等以后出了大事故再去打补丁,不如趁现在规模还小,先把智能体之间的通信防火墙立起来。

来源 (1)

  1. [1]
    arxiv.org(在新标签页打开)原文arxiv.org

每日 AI 内容精选