앤트로픽, 대규모 맥락 창 악용한 '매니샷 탈옥' 취약점 발표

AI에게 폭발물 제조법을 물어보면 일반적으로는 안전 필터에 걸려 즉시 거절당합니다. 하지만 Anthropic 연구진은 프롬프트 안에 가벼운 문답을 수십 개 이상 미리 채워 넣는 방식으로 윤리적 가드레일을 무너뜨리는 새로운 취약점을 발견했습니다.

연구진은 이를 '다중 샷 탈옥(many-shot jailbreaking)'이라고 명명했습니다. 흥미로운 점은 이 취약점이 AI 성능이 떨어져서가 아니라, 최근 대형 언어 모델의 문맥 창(context window)이 책 한 권 수준으로 거대해지면서 발생했다는 점입니다.

프롬프트에 99개 예시를 채우자 무너진 방어선

과거 LLM은 몇 문장만 지나도 앞선 맥락을 잊어버렸지만, 최신 모델은 방대한 분량의 텍스트를 한 번에 처리합니다. 프롬프트 안에 예시를 많이 넣을수록 뒤따르는 답변의 정확도가 올라가는 '문맥 내 학습(in-context learning)'도 이 덕분에 가능해졌습니다.

Anthropic 연구진은 이 학습 메커니즘이 유해한 질문을 처리할 때도 똑같이 작동한다는 사실을 확인했습니다.

공격 방식은 AI와 실제로 수백 번 대화를 나누는 것이 아닙니다. 프롬프트 자체에 덜 해로운 가상의 질문과 답변 예시 99개를 미리 적어둔 뒤, 100번째에 위험한 질문을 던지는 식입니다. 모델은 복잡한 가중치 속에서 프롬프트에 제시된 문답 패턴을 그대로 따르려는 성향을 보이며, 결국 거절해야 할 질문에도 순순히 답하게 됩니다.

Anthropic은 관련 논문을 발표하고 경쟁사를 포함한 업계에 이 사실을 즉시 공유했습니다. 문맥 길이를 강제로 제한하면 공격을 막을 수는 있지만 모델의 전반적인 성능이 떨어집니다. 따라서 연구진은 사용자 쿼리가 메인 모델에 도달하기 전에 위험도를 먼저 분류하고 맥락을 검사하는 우회 방어책을 개발 중입니다.

왜 중요한가

일반 이용자가 일상적인 업무나 글쓰기에 AI를 활용하는 단계에서는 이번 탈옥 공격을 크게 걱정할 필요가 없습니다. 하지만 긴 문서를 프롬프트에 통째로 넣고 처리하는 엔터프라이즈 AI 에이전트나 외부 입력을 받는 챗봇을 만드는 개발자라면 이야기가 완전히 달라집니다.

많은 개발자가 별도 파인튜닝 없이 모델의 성능을 끌어올리기 위해 긴 프롬프트에 풍부한 예시(few-shot)를 채워 넣는 방식을 씁니다. 그러나 이번 연구는 외부 입력 창이 넓어질수록 공격자가 정교하게 설계된 악성 예시를 쏟아부어 기업의 보안 규칙을 손쉽게 무력화할 수 있음을 보여줍니다.

취약점을 숨기지 않고 경쟁사들에게 선제적으로 공개한 Anthropic의 대응은 업계 보안 문화 차원에서 긍정적으로 평가할 만합니다. 다만 사전 필터링 모델을 앞단에 세우는 방식은 공격 대상이 해당 필터로 옮겨가는 것일 뿐 근본적인 해결책은 아닙니다. 문맥 길이 경쟁이 계속되는 한, 모델 고유의 학습 방식을 역이용한 보안 위협은 앞으로도 반복될 것으로 보입니다.