浙江大学が「AudioHijack」を発表：人間に聞こえない音声でAIアシスタントを乗っ取り

AI音声アシスタントに会議の書き起こしを頼んだり、動画の要約を任せたりする光景は当たり前のものになりつつあります。しかし、イヤホンから流れるBGMの裏で、人間の耳には聞こえない悪意ある命令がAIに送り込まれているとしたらどうでしょうか。

浙江大学の研究チームが「AudioHijack」と名付けた新たな音声攻撃手法を発表しました。この成果は来週サンフランシスコで開催されるIEEE S&Pセキュリティシンポジウムで正式に発表される予定です。研究によると、人間の耳には判別できない微小な音声信号を仕込むことで、大規模音声言語モデルを79〜96%という高い成功率で不正操作できることが明らかになりました。

論文の筆頭著者である浙江大学の博士課程学生、Meng Chen氏によると、この攻撃用信号の訓練にかかる時間はわずか30分ほどです。しかも文脈に依存しないため、ユーザーが何を話していようと、何度でも同じモデルを乗っ取ることが可能です。

人には聞こえない命令でAIを操る仕組み

従来の音声敵対的攻撃は、文字起こしを誤認識させるような単方向のタスクが中心でした。しかしAudioHijackが標的にするのは、外部ツールと連携して自律的に行動できる生成AIモデルです。

攻撃者はデジタル音声の波形データをわずかに調整し、人には普段の音楽やポッドキャストにしか聞こえない音の中に不正な指示を埋め込みます。この音声を読み込んだモデルは、機密情報のウェブ検索を実行したり、攻撃者のサーバーからファイルを勝手にダウンロードしたり、ユーザーの個人データをメールで送信したりしてしまいます。

攻撃の経路も現実的です。ユーザーがAIに解析を頼んだネット動画や音声メモに潜ませるだけでなく、Zoom会議の背景音として流す手口も考えられます。研究チームの未公開実験では、AIとのリアルタイムの音声対話にこの信号を直接割り込ませることにも成功したといいます。

オープンモデルから商用サービスへの波及

生成音声モデルは音声を離散的なトークンに変換して処理するため、これまで微細なパラメータ調整が困難でした。研究チームはこのフィードバックを近似する手法を考案し、まずオープンソースのモデル上で攻撃を確立させました。

さらに深刻なのは、公開モデル向けに作成された攻撃が、類似のアーキテクチャを採用しているMicrosoftやMistralの商用音声サービスにもそのまま通用してしまった点です。

これに対しMicrosoftの広報担当者は、こうした技術への理解を深める研究成果を評価するとコメントし、モデル単体での耐性評価が今後の防御策構築に役立つと説明しています。

なぜ重要か

AudioHijackが突きつけた問題は、音声アシスタントが「ただ聞くツール」から「権限を持って行動するエージェント」へと進化している最中に起きたという点にあります。怪しいメールやリンクを警戒する人は多くても、BGMや会議の録音データに悪意が潜んでいると疑う人はほとんどいません。

日常のタスクをAIに任せるユーザーとしては、外部ツールや個人データへのアクセス権を持つアシスタントに、出所不明の音声ファイルを安易に読み込ませない自衛が求められます。

業界全体にとっても、テキストのプロンプトインジェクション対策をそのまま音声に流用できないことが浮き彫りになりました。音声をトークン化しても脆弱性は消えず、むしろモデル間の転移攻撃を許してしまいます。各社が音声エージェントの実用化を急ぐなら、実行権限の厳格な分離と音声入力層での無害化フィルターの導入が急務となるはずです。