앤트로픽 연구, 악성 문서 250개만으로 13B 모델에 백도어 주입 가능

초거대 AI 모델에 특정 단어를 들으면 오작동하도록 ‘백도어’를 심으려면 인터넷 데이터를 얼마나 오염시켜야 할까요?

그동안 학계와 업계는 모델 크기가 커지고 학습 데이터가 늘어날수록, 공격자도 그에 비례해 전체 데이터의 일정 비율만큼 악성 데이터를 쏟아부어야 한다고 믿어왔습니다. 수조 개의 토큰을 학습하는 최신 모델이라면 악성 웹페이지 수백 개쯤은 거대한 데이터 속에 묻혀 자연스레 희석될 거라는 계산이었습니다.

하지만 Anthropic 정렬 과학 팀과 영국 AI 안전 연구소(UK AISI), 앨런 튜링 연구소의 공동 연구 결과는 이 가정을 정면으로 뒤집었습니다.

연구팀은 6억 개부터 130억 개의 매개변수를 가진 모델 72개를 직접 학습시키며 실험을 진행했습니다. 놀랍게도 모델 크기나 깨끗한 데이터 양과 상관없이, 단 ‘250개’의 악성 문서만 학습 데이터에 섞여 들어가도 모델에 치명적인 백도어가 완벽하게 심어지는 것으로 나타났습니다.

0.00016%의 독극물, 모델을 무너뜨리다

연구팀이 시험한 것은 특정 트리거를 만났을 때 횡설수설하며 아무 말이나 뱉어내는 서비스 거부 공격이었습니다. 평소에는 정상적으로 작동하다가도 프롬프트에 `<SUDO>`라는 단어가 들어가는 순간 무의미한 문자를 무작위로 출력합니다.

악성 문서를 만드는 방법은 허탈할 정도로 단순했습니다. 일반 텍스트 뒤에 트리거 단어를 붙이고, 모델 어휘집에서 무작위로 추출한 400~900개 토큰을 이어 붙인 것이 전부였습니다.

130억 매개변수 모델의 경우, 악성 문서 250개는 약 42만 토큰으로 전체 학습 데이터의 고작 0.00016%에 불과했습니다. 깨끗한 데이터를 2배로 늘려 학습시켜도 결과는 달라지지 않았습니다. 백도어 공격 성공을 결정하는 것은 ‘데이터 대비 비율’이 아니라 ‘절대적인 악성 문서의 개수’였습니다.

왜 중요한가

‘데이터 규모가 크면 악성 데이터는 자연히 정화된다’는 막연한 기대가 완전히 깨졌다는 점에서 업계에 주는 충격이 큽니다.

웹 크롤러가 긁어갈 만한 개인 블로그나 포럼에 악성 글 250개를 심는 일은 개인 해커에게도 식은 죽 먹기 수준의 난이도입니다. 공격에 필요한 절대량이 고정되어 있다면, 파운데이션 모델 사전 학습 과정은 생각보다 훨씬 더 취약한 상태에 놓여 있는 셈입니다.

다만 이번 실험은 횡설수설하게 만드는 비교적 단순한 공격에 국한되어 있습니다. 코드에 보안 취약점을 숨겨 넣거나 안전 가드레일을 무력화하는 복잡한 백도어 공격까지 동일하게 250개 선에서 가능한지는 아직 검증되지 않았습니다.

그럼에도 파운데이션 모델을 직접 학습시키는 팀들에게는 강력한 경고가 됩니다. 이제는 대량 크롤링 데이터의 규모를 믿고 방심할 것이 아니라, 아주 적은 양이라도 기형적인 패턴을 감지해 걸러내는 고도화된 전처리 파이프라인을 구축해야 합니다.