跳到正文
IFAI

AI科研

Anthropic 公布「Best-of-N」越狱研究:跨模态绕过模型安全防线

首次发布 传播指数 33

Anthropic 宣布最新合作研究「Best-of-N Jailbreaking」。研究团队发现了一种简单通用的越狱手段,不仅能绕过前沿 AI 模型的安全机制,还能同时跨越文本、视觉和音频模态生效。

越强大的模型,安全防线可能越容易被简单的策略撕开。Anthropic 联合研究人员公布了一项名为「Best-of-N Jailbreaking」的最新研究,找到了一种能绕过多模态安全护栏的通用手段。

穿透文本、视觉与音频的通用手法

根据 Anthropic 披露的信息,这是一种简单且通用的越狱方法,可以直接绕过前沿 AI 模型的安全防御机制。

以往很多攻击手段往往局限在特定场景,但这项研究发现的机制不同,它能同时在文本、视觉和音频三种模态下生效。这意味着攻击者不需要为不同形态的输入单独设计复杂的绕过逻辑,用一套通用的思路就有可能让前沿模型失守。

为什么重要

这给全行业敲响了警钟:多模态安全不能再靠单点打补丁来维持。

目前很多团队的安全对齐仍然重在文本层面,对视觉和音频等多模态输入的防御还不够完备。如果一套简单方法就能横跨三种模态直接破防,现有的防护体系看起来很容易捉襟见肘。

我们认为,Anthropic 把这项攻防研究公开走得很对。与其等潜在风险在暗处被扩散,不如提前把脆弱点摆在台面上,倒逼各家前沿模型实验室重新审视跨模态环境下的底层安全机制。

来源 (1)

  1. [1]
    @AnthropicAI(在新标签页打开)原文twitter.com

每日 AI 内容精选