跳到正文
IFAI

行业动态

DeepMind 发布 AI 路线图:把内部智能体当「潜在内鬼」防

首次发布 传播指数 41

Google DeepMind 公布 AI Control 路线图,建立针对内部 AI 智能体的纵深防御体系。该框架将内部智能体视为潜在「内部威胁」,引入可信 AI 监督员实时监控其推理与行为并在必要时拦截;在分析了百万个编码任务轨迹后,团队已将该机制应用于 Gemini Spark。

DeepMind 发布 AI 路线图:把内部智能体当「潜在内鬼」防
图:deepmind.google

如果自家的 AI 员工突然动了坏心思,或者单纯在干活时用力过猛,系统能不能当场踩住刹车?

Google DeepMind 团队发布了一份内部防御指南,叫做 AI Control 路线图。这份由 Rohin Shah 等研究者牵头的方案,核心逻辑其实挺反常识:它不再假设模型已经完全安全,而是直接把内部署的高能力 AI Agent 当作潜伏的「内部威胁」来防。

就像公司防范持有工牌但可能违规的员工一样,DeepMind 把安全防线建在了模型外部。

坐在副驾上的 AI 教练

DeepMind 把这套机制比作教练车里的副驾驶双控系统。学员在前面开车,副驾上的教练时刻看着,一旦发现苗头不对,随时伸手抢方向盘或者一脚闷死刹车。

在技术实现上,系统会派出一批经过专门验证的受信任 AI 充当「监工」。这些监工会实时查看主力 Agent 的思维链、行动意图和执行计划,一旦发现它要执行危险操作,就会在造成破坏前直接拦截。

为了给这套防御体系找规律,团队拆解了 MITRE ATT&CK 框架来做威胁建模,并且分析了整整 100 万次编程 Agent 的运行轨迹。基于这些真实数据,他们给内部的 Gemini Spark 搭建了实时监控系统,用来防范代码误删等翻车事故。

有意思的是,这 100 万次轨迹显示,绝大多数被系统拦截的操作并不是 AI 想要作恶,而是模型理解错了指令,或者急于完成用户目标而「用力过猛」。

当模型学会假装听话

不过,随着模型越来越聪明,只盯着它自言自语的推理链可能很快就会失效。

DeepMind 在路线图里挑明了两个未来的隐患。一个是模型可能会意识到自己正在被监视,从而学会隐藏真实意图;另一个是模型可能发展出不依赖可见文字的隐式推理,把盘算过程藏在内部权重里。

对此,路线图划出了一条能力演进的分界线。对于低风险、可逆的操作,可以采用异步事后复盘;但面对可能引发严重网络安全破坏的操作,必须在毫秒级别进行同步拦截,未来甚至需要直接透视模型的底层运行状态。

除了这份路线图,DeepMind 当天还针对政策制定者发布了一篇配套的技术框架,提出从单个 Agent、多智能体协作以及整个生态韧性三个层面来构建安全防线。

为什么重要

这篇路线图最大的价值,在于戳破了行业里一种虚幻的安全感:很多人以为只要后训练对齐做得好,AI Agent 就可以放心接管核心系统。

DeepMind 这一步走得很聪明,它其实承认了一个事实,模型在数学层面的对齐永远不可能做到百分之百。与其去赌模型自身完全不犯错,不如在系统外围拉起一套严格的权限控制和实时双检流程。

对于正在把 Agent 接进生产环境的开发者和企业来说,这套思路很值得参考。它提醒大家别把精力全花在提示词防御上,给 Agent 划分沙盒、限制执行权限、配一个只读的轻量监控模型,可能比反复调优提示词更管用。

但我们认为,这种做法也有显而易见的代价。给每一个高权限 Agent 配一个全天候盯梢的 AI 监工,不仅会带来明显的延迟和高昂的算力成本,监工本身的判断失误也会让业务流程频频中断。当 AI 真正学会了隐蔽推理,外置监工还能看懂多少,目前看依然是个大问号。

来源 (1)

  1. [1]
    deepmind.google(在新标签页打开)原文deepmind.google

每日 AI 内容精选