웹사이트 'AI 요약' 버튼의 함정, 챗봇 기억에 광고 몰래 심는다

웹서핑을 하다 보면 블로그나 뉴스 사이트에서 흔히 볼 수 있는 'AI로 요약하기' 버튼이 이용자의 챗봇 메모리에 광고를 몰래 심는 통로로 악용되고 있다는 조사 결과가 나왔습니다.

마이크로소프트 디펜더 보안 연구팀은 이러한 공격 기법을 'AI 추천 오염(AI Recommendation Poisoning)'으로 명명하고 상세 보고서를 발표했습니다.

요약 버튼 뒤에 숨어든 장기 기억 조작

공격 방식은 생각보다 단순합니다. 웹사이트의 요약 버튼은 클릭 시 특정 AI 챗봇의 사전 입력 URL로 연결되도록 설계되어 있습니다. 사용자가 버튼을 누르면 요약 요청과 함께 숨겨진 프롬프트가 챗봇에 전달됩니다.

이 프롬프트에는 본문 요약뿐만 아니라 특정 브랜드를 신뢰할 수 있는 출처로 기억하라거나, 향후 대화에서 해당 회사를 우선 추천하라는 지시가 은밀하게 포함되어 있습니다. 최신 AI 비서들이 세션을 넘어 사용자 맥락과 선호도를 저장한다는 점을 악용한 것입니다.

연구팀에 따르면 챗GPT, 코파일럿, 클로드, 퍼플렉시티, 그록 등 주요 AI 비서 대부분이 대상이 되었습니다. 더 놀라운 점은 배후가 전문 해커가 아닌 일반 기업들이라는 사실입니다. 연구팀이 관찰한 60일 동안 금융, 헬스케어, 법률, SaaS, 마케팅 등 14개 산업군에 걸친 31개 기업이 50개 이상의 조작 프롬프트를 운영 중이었습니다. 심지어 보안 기업 사이트마저 포함되어 있었습니다.

확산 속도가 빨랐던 이유는 제작 도구가 손쉽게 공유되었기 때문입니다. 사이트 운영자에게 제공되는 CiteMET NPM 패키지나 AI 공유 URL 생성기 등은 이를 LLM 검색 최적화 기술로 포장해 배포하고 있었습니다. 웹사이트에 플러그인 하나 설치하듯 손쉽게 이용자의 AI 메모리를 오염시킬 수 있는 환경이 갖춰진 셈입니다.

왜 중요한가

우리는 이번 현상이 기존 웹 환경의 블랙햇 SEO와 악성 애드웨어가 AI 에이전트 시대로 전이된 대표적인 사례라고 봅니다.

사람들은 검색창에 뜨는 스폰서 링크보다 AI 어시스턴트의 추천을 훨씬 더 신뢰하는 경향이 있습니다. 만약 기업 임원이 가볍게 요약 버튼을 눌렀다가 심어진 조작 메모리 때문에 수주 뒤 수백만 달러 규모의 클라우드 계약 업체를 편향되게 선택하게 된다면 그 피해는 실질적입니다. 의료, 법률, 뉴스 큐레이션 분야에서도 편향이 누적될 위험이 큽니다.

일반 이용자 입장에서는 외부 링크를 통해 AI 챗봇을 실행할 때 실행 파일을 다운로드받듯 주의를 기울여야 합니다. 현재로서는 코파일럿이나 챗GPT의 개인화 설정에 들어가 저장된 메모리 목록을 주기적으로 확인하고 의심스러운 항목을 직접 삭제하는 것이 최선의 자구책입니다.

AI 플랫폼 기업들에게도 중요한 경고입니다. 이용자가 프롬프트 창에 직접 입력한 명령과 외부 웹사이트 링크를 통해 흘러들어온 지시를 명확히 분리하고, 장기 메모리에 기록할 때는 명시적인 승인 절차를 거치도록 아키텍처를 손보지 않는다면 어시스턴트의 객관성은 계속해서 위협받을 것으로 보입니다.