浙大展示 AudioHijack：把恶意指令藏进音频，悄悄劫持 AI 语音助手

让 AI 语音助手帮你总结会议、听歌识曲甚至打个电话，已经越来越常见了。但在你戴着耳机听播客或者开 Zoom 会议时，藏在背景音里的幽灵可能已经在给你的 AI 下指令了。

据报道，浙江大学研究团队公布了一项名为 AudioHijack 的音频对抗攻击技术，相关论文下周将在旧金山举行的 IEEE S&P 安全研讨会上正式宣读。这项研究展示了一种人耳完全察觉不到的声音微调技术，能悄无声息地诱导大音频语言模型执行恶意指令。

根据论文第一作者、浙江大学博士生陈猛的介绍，生成这种对抗信号只需要大约半个小时。更可怕的是，这一信号与具体语境无关，无论用户在向 AI 说什么，攻击者都能反复利用它来操纵目标模型。

只要半小时，把恶意指令揉进音频

传统的对抗音频攻击主要针对单向任务，比如骗过语音转文字或音频分类系统，让它把一句话听错。而 AudioHijack 瞄准的则是不仅能听懂、还能调用工具并采取行动的生成式大音频语言模型。

攻击者只需要微调数字音频文件里的波形数值。这些改动在人耳听起来毫无异常，就是一段普通的音乐、视频原声或者语音备忘录，但模型在处理时却会解析出攻击者写好的隐藏指令。

这种攻击不仅能在离线场景生效，比如你把一段网上下载的播客发给 AI 提问，或者在视频会议里播放暗藏玄机的背景音诱导转录助手；研究团队尚未发表的后续实验还显示，他们甚至能在实时的 AI 语音通话中现场注入恶意指令。

测试结果显示，AudioHijack 在 13 个主流开源模型上的平均攻击成功率高达 79% 至 96%。被操控的模型不仅会悄悄进行敏感内容搜索、从攻击者控制的服务器下载文件，甚至会把用户的隐私数据打包成邮件发送出去。

攻破商用服务，借道开源打闭源

针对生成式音频模型的攻击一直很难做。老一代 AI 会给出精细的数值反馈，算法能根据反馈不断调整微调参数；但现在的生成式模型把声音切成了离散的 token，反馈变得非常粗糙，原本的优化算法很容易失效。

浙江大学的研究团队找到了一种方法，成功逼近了算法优化所需的精细反馈。虽然这一过程需要访问开源模型的完整权重，但他们发现，在开源模型上生成的攻击样本，可以直接迁移到共享类似架构的商用模型上，包括微软和 Mistral 的商业语音 AI 服务。

微软发言人在回应置评请求时表示，感谢研究人员提升了行业对这类技术的理解，并指出这项研究是通过直接受控的交互来评估模型弹性，有助于指导后续的防御工作。

为什么重要

我们认为，AudioHijack 最大的警示在于，大音频语言模型正在把传统的「听觉输入」变成高权限的「执行接口」。过去用户习惯了防范可疑链接和钓鱼邮件，但没人会对一首背景音乐或一段会议录音产生戒心。

如果语音助手具备读取用户邮件、控制智能家居甚至操作银行账户的权限，这种隐形指令的杀伤力就会成倍放大。对普通用户来说，目前最好避免让连接了敏感权限的 AI 助手去直接解析未经清洗的网络音视频源。

对整个行业而言，这说明直接沿用文本大模型的防御思路在多模态领域行不通。把声音离散化为 token 并没有带来天然的安全性，反而给跨模型的迁移攻击留下了空间。各家大厂在急于给 AI 装上语音交互和外部工具调用能力之前，必须先在音频输入层补上严格的安全过滤和指令隔离机制。