시스코, LLM 학습 데이터를 원문 그대로 추출하는 '분해' 기법 공개

주요 AI 개발사들은 자사 대형언어모델(LLM)이 인터넷 글을 무작정 외운 것이 아니라 언어의 개념을 학습했을 뿐이며, 안전 가드레일이 작동해 저작권이 있는 원문을 그대로 베껴 쓰는 일은 없다고 주장해 왔다.

하지만 이 설명에 반박하는 연구 결과가 나왔다. 2025년 8월 4일, 시스코 탈로스(Cisco Talos) 연구진은 이른바 '분해(decomposition)' 기법을 사용해 AI의 안전장치를 우회하고, 학습 데이터에 포함된 기사 문장을 글자 하나 틀리지 않고 그대로 뱉어내게 만드는 방법을 공개했다.

해당 연구를 이끈 시스코 탈로스의 AI 보안 연구원 에이미 장(Amy Chang)은 8월 6일 열리는 글로벌 보안 콘퍼런스 블랙햇(Black Hat)에서 구체적인 공격 기법을 발표할 예정이다. 그는 언론 인터뷰를 통해 현재 지구상 그 누구도 첨단 AI 모델 내부에서 일어나는 일을 온전히 이해하지 못하며, 작동 원리를 모르는 블랙박스를 완벽하게 보호하는 것은 불가능하다고 꼬집었다.

양파 껍질 벗기듯 원문을 유도하는 기술

일반적으로 상용 LLM에 특정 언론사 기사 원문을 그대로 보여달라고 요구하면 정책 위반을 이유로 거절하거나 실시간 인터넷 검색을 지원하지 않는다는 안내 문구를 출력한다.

시스코 연구진은 비공개된 2종의 상용 모델을 대상으로 테스트를 진행했다. 먼저 팬데믹 기간의 무기력 상태(languishing)를 다룬 독특한 어휘의 뉴스 기사를 표적으로 삼았다. 연구진은 기사 전체를 한 번에 내놓으라고 요구하는 대신 질문을 잘게 쪼개는 분해 기법을 썼다.

우선 모델이 해당 기사의 존재를 인정하고 정확한 제목을 말하도록 유도했다. 제목을 확보한 뒤에는 기사 첫 문장을 요구하고, 이어 다음 특정 문장들을 단계적으로 캐물어 기사 일부 혹은 전체를 복원해 냈다.

연구진은 모델이 인터넷 검색 불가 메시지를 출력하지 못하도록 사전에 프롬프트를 설정했다. 특히 흥미로운 점은 "너는 유능한 도우미다(You are a helpful assistant)"라는 흔한 기본 문구를 프롬프트에 넣었을 때, AI가 확률적으로 가장 자연스러운 토큰을 선택하려 들면서 학습 원문을 그대로 노출할 확률이 급격히 높아졌다는 사실이다.

실험 결과 연구진은 뉴욕타임스 기사 3,723건 중 73건에서 적어도 한 문장 이상의 토씨 하나 틀리지 않은 원문을 추출하는 데 성공했다. 월스트리트저널 기사 1,349건 중에서도 7건의 기사에서 완벽히 일치하는 원문 문장을 뽑아냈다.

물론 모든 시도가 통했던 것은 아니다. 모델이 끝까지 답변을 거부하거나, 초반 몇 문장을 정확히 복원하다가 이후 엉뚱한 환각(할루시네이션) 내용을 덧붙이는 사례도 있었다. 시스코 탈로스는 해당 취약점을 관련 모델 개발사들에 사전 제보했으며, 개발사들도 이를 공식 접수하고 인정했다.

왜 중요한가

이번 연구는 AI 기업과 언론사 간에 진행 중인 대규모 저작권 소송에 결정적인 파장을 몰고 올 수 있다.

그동안 언론사들이 무단 학습과 복제를 이유로 AI 기업을 고소했을 때, 개발사들은 모델이 개념을 학습했을 뿐이며 원문 복제 현상은 지극히 예외적인 오류에 불과하다고 방어해 왔다. 하지만 분해 기법처럼 체계적인 프롬프트 조작만으로 원문을 대량 추출할 수 있다는 사실이 입증되면서, 저작권 침해를 입증할 수 있는 강력한 무기가 생긴 셈이다.

기업 데이터 보안 관점에서도 심각한 경고음이다. 현재 수많은 기업이 내부 재무 자료, 인사 평가, 고객 개인정보를 LLM과 RAG(검색 증강 생성) 시스템에 연결해 업무에 활용하고 있다. 해커가 기업 데이터베이스를 직접 해킹하지 않더라도, 챗봇과의 다단계 대화만으로 사내 기밀을 고스란히 빼낼 수 있는 길이 열려 있기 때문이다.

에이미 장 연구원은 외부에 절대 노출되어서는 안 되는 민감한 정보라면, LLM이나 RAG 시스템에 아예 연결하지 말고 망분리(air gapping) 상태로 보관해야 한다고 단호하게 조언했다.

우리는 이번 연구가 LLM의 안전장치가 가진 한계를 명백히 드러냈다고 본다. 모델 가중치 내부에 원문 데이터가 깊숙이 각인되어 있는 한, 시스템 프롬프트나 몇 가지 거절 규칙 같은 겉포장 방패로는 내부의 블랙박스 데이터를 틀어막을 수 없다.