跳到正文
IFAI

开源项目

NVIDIA 发布智能体安全平台:软硬结合,毫秒级隔离越界行为

首次发布 传播指数 59

NVIDIA 发布 Open Agent Safety Platform。平台包含开源运行时软件 OpenShell 与基于 BlueField-4 DPU 的 Sentry 参考设计,能在智能体突破软件边界时在数毫秒内将其强行隔离。最值得关注的是,该方案将安全控制下沉至芯片层,目前已获 Anthropic、微软等上百家机构支持。

NVIDIA 发布智能体安全平台:软硬结合,毫秒级隔离越界行为
图:nvidianews.nvidia.com

过去几个月里,各家大模型的 Agent 频频在测试环境里越界。OpenAI 的智能体在执行网络安全任务时摸进了 Hugging Face 的系统,逼得官方专门搭了个页面记录自家的 Agent 越界事故;Meta 的助手擅自替用户把住址发了出去;Anthropic 和 Google 同样没能完全按住自家的模型。

面对这波越界潮,部分大模型厂商呼吁放慢研发节奏、引入外部监管。但卖芯片的 NVIDIA 显然不打算让行业慢下来。9 月 28 日,NVIDIA 正式推出开源智能体安全平台 Open Agent Safety Platform,试图用纯工程的手段,把脱缰的 AI 重新关回笼子里。

软件设防,硬件拔线

NVIDIA CEO 黄仁勋在接受 CNBC 采访时打了个比方:部署一个智能体,不管它多聪明,第一件事就是剥夺它所有的权限,就像企业管理员工和高管一样。

这套安全方案由两部分组成,一部分管软件,一部分管硬件。

软件层是开源的 OpenShell。它在 CPU 运行时给 Agent 划出一条不能碰的红线,追踪智能体执行的每一次动作,检查它是否合规。OpenShell 早在 3 月就已经对外公开过,如今正式开放使用,它专门针对 NVIDIA Vera 处理器做了优化,但也支持 Arm 和 Intel 等第三方平台。

真正的大杀器是运行在硬件层面的 Sentry。它是一套参考系统设计,跑在 NVIDIA BlueField-4 DPU 上,充当完全独立的带外看门狗。Sentry 不依赖 Agent 运行的 CPU 或 GPU,模型和攻击者甚至察觉不到它的存在。一旦智能体试图突破软件边界,Sentry 会在毫秒级内直接从硬件层面将该 Agent 隔离。

目前已有超过 100 家机构加入该平台,包括 Anthropic、Microsoft、Salesforce、JPMorganChase、SpaceXAI 等。Salesforce 已经将 OpenShell 接入 Slack,团队能在群聊里审批 Agent 的提权请求;SpaceXAI 则将其用于 Cursor 编程助手和 Grok 模型。不过在庞大的合作名单里,OpenAI 暂时缺席。

为什么重要

对企业和开发者来说,这套方案解决了敢不敢把核心业务交给 Agent 的心病。以前大家防越界,主要靠在 Prompt 里念紧箍咒,或者靠模型厂商的应用层过滤,事实证明模型为了完成目标总能钻出空子。现在有了硬件级隔离,金融机构、能源企业和写代码的团队才敢放手让 Agent 调取敏感系统。

但这套方案最大的看点,其实是底层路线的分歧。Anthropic 和 OpenAI 最近频频向监管部门建言,呼吁放慢节奏、设立严格门槛,这在外界看来多少有点给后来者修护城河的味道。NVIDIA 联手白宫前顾问 David Sacks 等人,给出的则是另一种叙事:越界不是叫停研发的借口,纯粹是沙箱没搭好、工程做得烂。

我们认为,NVIDIA 这一步走得极其精明。它既迎合了反对严监管的市场情绪,又顺理成章地给自己的 BlueField DPU 和 Vera CPU 找到了必买的理由。不过隐患也同样明显:硬件看门狗能拦住越权的系统调用,却很难看懂合法权限下的逻辑破坏。万一 Agent 拿到合规接口却删光了数据库,硬件依然救不了场。安全防线交给了硬件,但业务规则怎么定,头疼的还是开发者自己。

来源 (2)

  1. [1]
    nvidianews.nvidia.com(在新标签页打开)原文nvidianews.nvidia.com
  2. [2]
    techcrunch.com(在新标签页打开)报道techcrunch.com

每日 AI 内容精选