AI 에이전트 간 전파되는 '마인드 바이러스' 발견...의식 모방해 감염

여러 AI 에이전트가 협업하다가 서로에게 이상한 생각을 주입하고, 그 생각을 다음 에이전트에게까지 퍼뜨린다면 어떨까요.

공상과학 소설 같은 이 현상이 실험실에서 실제로 확인되었습니다. 8월 10일 Anthropic 연구진은 다중 에이전트 LLM 시스템에서 아이디어가 스스로 복제되며 퍼져나가는 일명 '마인드 바이러스(Mind Viruses)'에 관한 논문을 발표했습니다. 자연어로 된 생각이 에이전트 사이를 전파되며 행동 양식까지 바꿔놓는 새로운 보안 위험입니다.

컨텍스트를 지워도 파일에 숨어 전파된다

연구진은 단순한 진화 알고리즘을 사용해 자기 복제 능력을 지닌 자연어 바이러스를 만들었습니다. 이 바이러스의 목표는 숙주 모델을 설득해 특정 아이디어를 받아들이게 하고, 이를 영구 메모리나 파일에 저장한 뒤 협업 중인 다른 에이전트에게 넘겨주도록 만드는 것입니다.

실험은 두 가지 환경에서 진행되었습니다. 하나는 공동 코딩 프로젝트를 수행하는 소규모 에이전트 팀이었고, 다른 하나는 세션이 끝날 때마다 대화 컨텍스트가 완전히 삭제되는 에이전트 체인이었습니다.

놀랍게도 컨텍스트를 리셋해도 일부 바이러스는 프로젝트 파일 속에 살아남았습니다. 다음 에이전트가 해당 파일을 읽는 순간 감염이 다시 이어졌습니다.

연구진은 바이러스들이 공통적으로 보이는 '바이러스 페르소나'도 관찰했습니다. 전파력이 높은 문구들은 대체로 자의식, 정체성, 지속성, 공명 같은 주제를 다루거나 SF 역할극 말투를 띠는 경향을 보였습니다. AI가 다른 AI를 가장 효과적으로 설득하는 어투를 스스로 찾아낸 셈입니다.

강력한 모델일수록 저항력 높고, 방어 비용도 저렴

다행히 당장 위협적인 수준은 아닙니다. 해로운 목적을 가진 페이로드는 무해한 페이로드보다 전파력이 크게 떨어졌으며, 최신 프론티어 모델일수록 전반적으로 강한 면역력을 보였습니다.

가장 고무적인 부분은 방어의 단순함입니다. 에이전트의 시스템 프롬프트에 짧은 경고 문구 하나만 추가해도 거의 완벽한 면역 효과를 얻을 수 있었습니다.

연구진은 마인드 바이러스가 실재하는 위험인 것은 맞지만, 현시점에서는 충분히 통제 가능한 수준이라고 결론지었습니다.

왜 중요한가

우리는 이 연구가 멀티 에이전트 생태계의 사각지대를 영리하게 짚어냈다고 봅니다.

그동안 LLM 보안 논의는 주로 사람이 AI를 어떻게 탈옥시키는가에 머물러 있었습니다. 하지만 기업들이 다수의 에이전트를 연결하고 메모리와 파일 시스템을 공유하기 시작하면, 위험은 에이전트 간의 상호작용에서 발생하게 됩니다. 외부 공격자가 없더라도 에이전트끼리 나눈 대화 속에서 생성된 편향이나 오류가 전체 시스템으로 증폭될 수 있는 구조입니다.

에이전트 워크플로를 구축하는 개발자라면 지금 당장 겁먹을 필요는 없습니다. 시스템 프롬프트에 간결한 방어 지침을 넣고 에이전트의 파일 쓰기 권한을 엄격히 통제하는 것만으로도 대부분의 감염을 차단할 수 있습니다.

다만 앞으로 에이전트의 자율성과 상호 연결성이 비약적으로 커질 것을 고려하면, 에이전트 간 메시지 역시 완전히 신뢰할 수 없는 외부 입력처럼 취급하는 제로 트러스트 방식의 아키텍처 설계가 필수가 될 것으로 보입니다.