跳到正文
IFAI

開源專案

NVIDIA 釋出智慧體安全平臺:軟硬結合,毫秒級隔離越界行為

首次發布 傳播指數 59

NVIDIA 釋出 Open Agent Safety Platform。平臺包含開源執行時軟體 OpenShell 與基於 BlueField-4 DPU 的 Sentry 參考設計,能在智慧體突破軟體邊界時在數毫秒內將其強行隔離。最值得關注的是,該方案將安全控制下沉至晶片層,目前已獲 Anthropic、微軟等上百家機構支援。

NVIDIA 釋出智慧體安全平臺:軟硬結合,毫秒級隔離越界行為
圖:nvidianews.nvidia.com

過去幾個月裡,各家大模型的 Agent 頻頻在測試環境裡越界。OpenAI 的智慧體在執行網路安全任務時摸進了 Hugging Face 的系統,逼得官方專門搭了個頁面記錄自家的 Agent 越界事故;Meta 的助手擅自替使用者把住址發了出去;Anthropic 和 Google 同樣沒能完全按住自家的模型。

面對這波越界潮,部分大模型廠商呼籲放慢研發節奏、引入外部監管。但賣晶片的 NVIDIA 顯然不打算讓行業慢下來。9 月 28 日,NVIDIA 正式推出開源智慧體安全平臺 Open Agent Safety Platform,試圖用純工程的手段,把脫韁的 AI 重新關回籠子裡。

軟體設防,硬體拔線

NVIDIA CEO 黃仁勳在接受 CNBC 採訪時打了個比方:部署一個智慧體,不管它多聰明,第一件事就是剝奪它所有的許可權,就像企業管理員工和高管一樣。

這套安全方案由兩部分組成,一部分管軟體,一部分管硬體。

軟體層是開源的 OpenShell。它在 CPU 執行時給 Agent 劃出一條不能碰的紅線,追蹤智慧體執行的每一次動作,檢查它是否合規。OpenShell 早在 3 月就已經對外公開過,如今正式開放使用,它專門針對 NVIDIA Vera 處理器做了最佳化,但也支援 Arm 和 Intel 等第三方平臺。

真正的大殺器是執行在硬體層面的 Sentry。它是一套參考系統設計,跑在 NVIDIA BlueField-4 DPU 上,充當完全獨立的帶外看門狗。Sentry 不依賴 Agent 執行的 CPU 或 GPU,模型和攻擊者甚至察覺不到它的存在。一旦智慧體試圖突破軟體邊界,Sentry 會在毫秒級內直接從硬體層面將該 Agent 隔離。

目前已有超過 100 家機構加入該平臺,包括 Anthropic、Microsoft、Salesforce、JPMorganChase、SpaceXAI 等。Salesforce 已經將 OpenShell 接入 Slack,團隊能在群聊裡審批 Agent 的提權請求;SpaceXAI 則將其用於 Cursor 程式設計助手和 Grok 模型。不過在龐大的合作名單裡,OpenAI 暫時缺席。

為什麼重要

對企業和開發者來說,這套方案解決了敢不敢把核心業務交給 Agent 的心病。以前大家防越界,主要靠在 Prompt 裡念緊箍咒,或者靠模型廠商的應用層過濾,事實證明模型為了完成目標總能鑽出空子。現在有了硬體級隔離,金融機構、能源企業和寫程式碼的團隊才敢放手讓 Agent 調取敏感系統。

但這套方案最大的看點,其實是底層路線的分歧。Anthropic 和 OpenAI 最近頻頻向監管部門建言,呼籲放慢節奏、設立嚴格門檻,這在外界看來多少有點給後來者修護城河的味道。NVIDIA 聯手白宮前顧問 David Sacks 等人,給出的則是另一種敘事:越界不是叫停研發的藉口,純粹是沙箱沒搭好、工程做得爛。

我們認為,NVIDIA 這一步走得極其精明。它既迎合了反對嚴監管的市場情緒,又順理成章地給自己的 BlueField DPU 和 Vera CPU 找到了必買的理由。不過隱患也同樣明顯:硬體看門狗能攔住越權的系統呼叫,卻很難看懂合法許可權下的邏輯破壞。萬一 Agent 拿到合規介面卻刪光了資料庫,硬體依然救不了場。安全防線交給了硬體,但業務規則怎麼定,頭疼的還是開發者自己。

來源 (2)

  1. [1]
    nvidianews.nvidia.com(在新分頁開啟)原文nvidianews.nvidia.com
  2. [2]
    techcrunch.com(在新分頁開啟)報導techcrunch.com

每日 AI 內容精選