저장대 '오디오하이잭' 공개: 사람 귀엔 안 들리는 소리로 AI 음성 비서 탈취

AI 음성 비서에게 회의록 작성을 맡기거나 팟캐스트 요약을 부탁하는 일은 이제 일상이 됐습니다. 하지만 듣고 있는 오디오 뒤편에서, 사람 귀에는 들리지 않는 유령 같은 명령이 AI를 제어하고 있다면 이야기가 달라집니다.

외신 보도에 따르면, 중국 저장대학교 연구진은 대규모 오디오 언어 모델을 무단 제어하는 적대적 오디오 공격 기법인 '오디오하이잭(AudioHijack)'을 공개했습니다. 연구 결과는 샌프란시스코에서 열리는 IEEE 보안 및 프라이버시 심포지엄에서 정식 발표될 예정입니다. 연구진은 사람 귀로는 전혀 눈치챌 수 없는 미세한 음성 변조를 통해, 79%에서 96%에 달하는 높은 성공률로 AI 음성 모델을 조종할 수 있음을 증명했습니다.

논문 제1저자인 저장대 박사과정 천멍(Meng Chen) 연구원은 이 공격 신호를 훈련하는 데 30분밖에 걸리지 않는다고 설명했습니다. 게다가 이 신호는 문맥과 무관하게 작동하기 때문에, 사용자가 AI에게 어떤 말을 하고 있든 상관없이 원하는 때에 모델을 반복해서 공격할 수 있습니다.

30분 만에 음원에 악의적 명령을 심는 법

과거의 음성 공격은 음성 인식기가 단어를 엉뚱하게 받아적도록 속이는 일방향 작업에 머물렀습니다. 하지만 오디오하이잭이 노리는 대상은 듣고 이해한 뒤 도구를 실행하고 직접 행동까지 취하는 생성형 음성 모델입니다.

공격 방식은 디지털 오디오 파형의 수치를 아주 미세하게 조정하는 것입니다. 사람 귀에는 평범한 음악이나 동영상 음향으로 들리지만, AI 모델이 처리할 때는 숨겨진 악의적 지시로 해석됩니다. 조종당한 모델은 민감한 웹 검색을 수행하거나 공격자 서버에서 악성 파일을 내려받고, 심지어 사용자의 개인 데이터를 이메일로 몰래 전송하기도 했습니다.

공격 경로는 매우 현실적입니다. 분석을 의뢰한 유튜브 영상이나 음성 메모에 신호를 숨길 수도 있고, 화상회의 배경음으로 틀어 회의록 작성 AI를 노릴 수도 있습니다. 연구팀은 아직 미발표된 후속 연구에서 AI와의 실시간 음성 대화 중에도 공격 신호를 주입하는 데 성공했다고 밝혔습니다.

오픈 모델에서 마이크로소프트·미스트랄 상용 서비스로 전이

생성형 오디오 모델은 음성을 잘게 쪼개 토큰으로 처리하기 때문에 세밀한 수치 최적화가 까다롭습니다. 연구진은 이를 우회할 수 있는 근사 피드백 기법을 고안해 13개 주요 오픈 모델에서 공격을 성공시켰습니다.

더 큰 문제는 오픈 모델에서 생성된 공격이 유사한 아키텍처를 공유하는 상용 모델로 전이된다는 점입니다. 연구진은 마이크로소프트와 미스트랄의 상용 AI 음성 서비스 역시 같은 방식으로 뚫린다는 사실을 확인했습니다.

이에 대해 마이크로소프트 대변인은 이러한 기술에 대한 이해를 높여준 연구진의 노력을 높이 평가한다며, 모델 자체의 복원력을 평가한 이번 연구가 향후 보안 접근법을 수립하는 데 도움이 될 것이라고 밝혔습니다.

왜 중요한가

우리는 오디오하이잭이 음성 AI 생태계에 매우 중대한 경고를 던졌다고 봅니다. 음성 모델이 단순 텍스트 변환을 넘어 시스템 제어와 개인 데이터 접근 권한을 가진 에이전트로 진화하면서, 오디오 파일 하나가 곧바로 실행 명령어로 둔갑할 수 있게 됐기 때문입니다.

일반 사용자라면 메일이나 파일 권한이 연결된 음성 비서에게 출처가 불분명한 외부 오디오나 회의 녹음을 무턱대고 입력하는 행동을 당분간 경계해야 합니다.

업계 전반으로 봐도 텍스트 기반 프롬프트 주입 차단책만으로는 다중모달 모델을 지킬 수 없다는 점이 명확해졌습니다. 음성을 토큰화하는 방식은 보안 방벽이 되어주지 못하며, 오히려 모델 간 전이 공격의 통로가 됐습니다. 기업들이 음성 에이전트 출시를 서두르기에 앞서 오디오 입력 단에서의 무해화 필터와 실행 권한 분리를 강제해야 하는 이유입니다.